IEEE-RITA Vol. 5, Núm. 1, Feb. 2010

31

Personalización en Recomendadores Basados en Contenido y su Aplicación a Repositorios de Objetos de Aprendizaje A. Ruiz-Iniesta, G. Jiménez-Díaz y M. Gómez-Albarrán Title— Promoting Strong Personalization in Content-based Recommendation Systems of Learning Objects. Abstract— Recommendation technologies have a clear application in e-learning: providing support for personalized access to the Learning Objects (LOs) that exist in repositories. In this paper we describe a novel approach that fosters a strong personalized content-based recommendation of LOs. This approach gives priority to those LOs that are most similar to the student’s short-term learning goals (the concepts that the student wants to learn in the session) and, at the same time, have a high pedagogical utility in the light of the student’s cognitive state (long-term learning goals). The paper includes the definition of a flexible metric that combines the similarity with the query and the pedagogical utility of the LO. We finally describe the application of the approach to an educational repository of Computer Programming LOs. Index Terms— Personalization, Recommenders, Learning Objects.

Content-based

I. INTRODUCCIÓN

E

n los últimos años, el uso de sistemas recomendadores se ha transferido del campo del comercio electrónico al ámbito académico. En este sentido, hay trabajos que plantean herramientas de recomendación de cursos y actividades de aprendizaje [8][13][15] y recomendadores que sugieren a los profesores modificaciones para mejorar la efectividad de los sistemas educativos web [9]. El uso de recomendadores en el ámbito académico tiene otra clara y todavía no muy explotada aplicación: proporcionar acceso personalizado a Objetos de Aprendizaje (LOs, del inglés Learning Objects) que se hallan en repositorios educativos. Normalmente el gran número de LOs contenidos en estos repositorios dificulta el acceso a aquellos que mejor se adaptan al conocimiento de cada estudiante, a los objetivos y/o a las preferencias de cada uno. Esta

Almudena Ruiz-Iniesta, Guillermo Jiménez-Díaz y Mercedes GómezAlbarrán desempeñan sus tareas en la Facultad de Informática de la Universidad Complutense de Madrid. c/ Prof. José García Santesmases s/n, 28040 Madrid, España. (email: [email protected]; [email protected]; [email protected]). DOI (Digital Object Identifier) Pendiente

dificultad la hemos podido constatar en un repositorio de recursos docentes de la disciplina de Programación de Computadores, disponible a través del Campus Virtual de la Universidad Complutense de Madrid (España) durante los últimos tres años. Este repositorio contiene más de 400 ejemplos resueltos y ejercicios para resolver de Programación, destinados a estudiantes de “Introducción a la Programación”. Aunque los estudiantes valoraban muy bien la ayuda que estos recursos les proporcionan, el 70% de ellos echaba en falta facilidades más sofisticadas para el acceso a los recursos. En este artículo presentamos una aproximación que extiende y mejora nuestro trabajo previo en recomendación de LOs en repositorios web. En [10][11] describimos una aproximación novedosa para recomendar LOs que sigue una estrategia de recomendación híbrida en cascada [3]: un recomendador basado en contenido reactivo y single-shot actúa como recomendador inicial y sus decisiones son refinadas por uno colaborativo. La estrategia de recomendación empleada localizaba un conjunto relevante de LOs después de que el estudiante hubiera planteado una consulta al sistema. El resultado era una lista ordenada de LOs. La prioridad era para aquellos LOs más similares a la consulta del estudiante y que a la vez son los mejor valorados por otros estudiantes. Esta aproximación ha sido ejemplificada con el repositorio de LOs de Programación que actualmente se utiliza para Introducción a la Programación en la Universidad Complutense de Madrid. La estrategia de recomendación previa mostraba una desventaja: la recomendación basada en contenido, y por extensión, la estrategia entera, proporcionaba una débil personalización. La estrategia de recomendación implementaba un tipo de personalización en-sesión: sólo tenía en cuenta los objetivos a corto plazo del estudiante reflejados en la consulta. De esta manera, dos estudiantes que planteen la misma consulta en una sesión obtendrán las mismas recomendaciones, incluso si sus objetivos de aprendizaje a largo plazo y su destreza en el dominio difieren en gran parte. Con el propósito de aliviar este inconveniente hemos explorado un modelo de personalización fuerte. Como veremos, esta mejora en la estrategia de recomendación basada en contenido puede ser adaptada a los objetivos a largo plazo de los estudiantes sin comprometer los intereses que en la sesión puedan tener los LOs recomendados para el

ISSN 1932-8540 © IEEE

32

IEEE-RITA Vol. 5, Núm. 1, Feb. 2010

estudiante activo. En esta nueva estrategia basada en contenido la prioridad es para aquellos LOs que son más similares a la consulta y, al mismo tiempo, tienen una utilidad pedagógica mayor de acuerdo a su perfil. En este sentido, se satisfacen los objetivos a corto plazo reflejados en la consulta del estudiante y las carencias de conocimiento reflejadas en su perfil de estudiante. Esta nueva estrategia basada en contenido encaja en la estrategia híbrida inicial, y sus resultados pueden ser refinados por el recomendador secundario (el colaborativo). Este trabajo tendrá una aplicación directa en nuestras tareas docentes diarias en la Facultad de Informática de la Universidad Complutense de Madrid. El artículo está organizado como se indica a continuación. La sección II proporciona los detalles sobre las distintas fuentes de conocimiento necesarias, independientemente del ámbito educativo de aplicación. La sección III describe en detalle las dos etapas de la recomendación, recuperación y ordenación. La sección IV presenta una particularización de la aproximación a un repositorio educativo de LOs de Programación y ejemplifica una sesión de recomendación. La última sección concluye el artículo, relaciona nuestra aproximación con trabajos previos en el contexto de la enseñanza de la Programación, y señala algunas líneas de trabajo futuro.

II. LAS FUENTES DE CONOCIMIENTO Recientemente las técnicas de recomendación se han comenzado a utilizar en el ámbito académico y, en particular en el contexto del aprendizaje. Coincidimos con los trabajos descritos en [5][6] que el ámbito académico impone unos requisitos específicos en el proceso de recomendación. Por ejemplo, los recomendadores pueden sacar provecho del estado cognitivo del estudiante, el cual cambia a lo largo del tiempo. Esto permitiría incrementar el nivel de personalización a largo plazo. Por otro lado, los itinerarios y estrategias de aprendizaje también pueden proporcionar información útil para el recomendador. Por ejemplo, el recomendador puede sacar provecho de una regla pedagógica simple como „ir de tareas fáciles a difíciles‟ o „reducir de manera gradual la cantidad de orientación‟. Los itinerarios de aprendizaje pueden representar rutas y secuencias diseñadas por los profesores a partir de experiencias positivas en el aula, o se pueden corresponder con el comportamiento de estudiantes avanzados. En este artículo describimos una aproximación que proporciona un modelo de personalización fuerte para un recomendador basado en contenido de LOs. Esta estrategia de recomendación opera en dos etapas: recuperación y ordenación. La etapa de recuperación busca aquellos LOs que satisfagan, de manera aproximada, los objetivos a corto plazo del estudiante, representados en la consulta (objetivos de aprendizaje para la sesión). Estos LOs deben estar “listos para

ser explorados” por el estudiante de acuerdo a su nivel de conocimiento y a los caminos de aprendizaje definidos. Una vez que los LOs han sido recuperados, la etapa de ordenación los ordena de acuerdo a la calidad asignada a cada LO. La calidad se calcula de manera que la prioridad es para aquellos LOs que son más similares a la consulta del estudiante, y al mismo tiempo, tienen mayor utilidad pedagógica de acuerdo al estado cognitivo del estudiante (objetivos de aprendizaje a largo plazo). La anterior estrategia de recomendación que proporcionaba un modelo de personalización débil [10][11] necesitaba conocimiento del dominio con el fin de calcular la similitud entre la consulta y los conceptos del dominio cubiertos por los LOs recuperados. Este nuevo modelo de personalización fuerte impone algunos requisitos adicionales desde el punto de vista de la representación del conocimiento. La etapa de recuperación requiere de la existencia de caminos de aprendizaje adecuados entre los conceptos del dominio así como información del estado cognitivo de cada estudiante en forma de perfiles persistentes. La etapa de ordenación también utiliza el perfil del estudiante. Esta nueva estrategia sigue un modelo de refuerzo de conocimiento que promueve solventar las carencias de conocimiento del estudiante sin dejar de lado los objetivos a largo plazo. En esta sección detallamos las fuentes de conocimiento en nuestra estrategia de recomendación: la ontología del dominio (apartado A), los LOs y los metadatos que los describen (apartado B) y el perfil del estudiante (apartado C). En la Sección III se presenta una descripción en profundidad de las distintas etapas de la recomendación. A. La Ontología del Dominio Proponemos utilizar una ontología para indexar los LOs contenidos en el repositorio. Las ontologías proporcionan un esquema general que permite incluir conocimiento sobre la similitud entre los conceptos que representan los temas del dominio. El conocimiento sobre la similitud entre los conceptos y sobre las relaciones que existen entre ellos es crucial en las etapas de la estrategia de recomendación. Además las ontologías proporcionan un lenguaje común a la hora de compartir información que puede ser utilizado por profesores al añadir nuevos LOs y por los estudiantes cuando realizan un consulta al recomendador. Existen otros autores que también hacen un uso satisfactorio de las ontologías en el ámbito académico [4]. La ontología está poblada con los conceptos del ámbito de estudio (por ejemplo, Matemáticas, Derecho, o Programación de Computadores). Estos conceptos se organizan en una taxonomía utilizando la relación es_un. La ontología además debe establecer una relación de precedencia entre conceptos. Esta precedencia refleja el orden en el que los conceptos son tradicionalmente estudiados en el campo correspondiente. La precedencia ayuda a establecer los caminos de aprendizaje

ISSN 1932-8540 © IEEE

INIESTA, JIMÉNEZ Y ALBARRÁN: PERSONALIZACIÓN EN RECOMENDADORES BASADOS EN CONTENIDO... 33

que se utilizarán en la etapa de recuperación para filtrar aquellos LOs que ejemplifican conceptos no alcanzables a partir del estado cognitivo de un estudiante. B. Los Objetos de Aprendizaje Los recomendadores cuentan con una colección de productos que pueden ser recomendados a los usuarios del sistema. En nuestro contexto estos productos son los LOs contenidos en un repositorio educativo. Nuestros LOs han sido desarrollados de acuerdo al estándar LOM (del inglés, Learning Object Metadata). Con el fin de describir nuestros LOs, hemos decidido utilizar en el más alto nivel las siguientes categorías de LOM: General, Ciclo de vida, Técnica, Educativa, Relación y Clasificación. La categoría General veremos que juega un importante papel en la etapa de recuperación. Esta categoría contiene palabras clave que describen qué conceptos de la ontología están cubiertos por el LO concreto. Estas palabras clave servirán de punto de enlace entre los LOs contenidos en el repositorio y la jerarquía de conceptos representada en la ontología. El resto de las categorías permiten incluir información descriptiva sobre el LO. Esta información no será utilizada en las etapas de recomendación. C. El Perfil de Estudiante Como señalamos anteriormente, la personalización fuerte tiene consecuencias desde el punto de vista de representación del conocimiento. Una de estas consecuencias es la necesidad de perfiles de estudiante persistentes. El perfil del estudiante almacena información sobre su historial de navegación –los LOs que ya ha explorado- y los objetivos alcanzados en el proceso de aprendizaje. A los conceptos que ya han sido explorados por el estudiante se les asigna el nivel de competencia alcanzado en cada uno de ellos. Este nivel se considera como el grado de satisfacción, una métrica que permite al recomendador saber el nivel de conocimiento que un estudiante tiene sobre un determinado concepto. Como veremos, el nivel de competencia será un elemento importante en la etapa de recuperación.

III. ESTRATEGIA DE RECOMENDACIÓN REACTIVA

recuperación y ordenación, que describimos en los siguientes apartados. A. Etapa de Recuperación La etapa de recuperación busca un conjunto inicial de LOs que satisfagan, de manera aproximada, la consulta planteada por el estudiante. La etapa de recuperación primero intenta encontrar LOs indexados exactamente por los conceptos de la consulta. Si no hay LOs que satisfagan esta condición o si estamos interesados en una localización más flexible, los LOs indexados por un subconjunto de los conceptos (iguales o similares) especificados en la consulta del estudiante serán recuperados. Este conjunto inicial de LOs es filtrado y sólo aquellos LOs que cubren conceptos de la ontología “listos para ser explorados” por el estudiante serán finalmente considerados en la etapa de ordenación. Decimos que un concepto está “listo para ser explorado” por un estudiante si de acuerdo a su perfil y al itinerario de aprendizaje definido, cumple cualquiera de las siguientes condiciones: Es un concepto ya explorado por el estudiante, así que aparecerá en el perfil con el correspondiente nivel de competencia. Es un concepto que el estudiante todavía no ha explorado pero puede descubrirlo: si un concepto c1 precede a un concepto c2 en la ontología, un estudiante puede descubrir c2 si el nivel de competencia del estudiante alcanzado en c1 supera un cierto “umbral de progreso”. Si varios conceptos c1, c2, ..., ck son predecesores directos de un concepto cx, cx puede ser descubierto si el nivel de competencia de todos los predecesores directos supera el “umbral de progreso” dado. En resumen, el objetivo del proceso de filtrado es descartar aquellos LOs indexados en la ontología por conceptos no alcanzables para el estudiante activo. Esta etapa de filtrado añadida a la etapa de recuperación presentada en [10][11], proporciona una manera de personalización a largo plazo en esta primera fase de la estrategia de recomendación. De esta manera, ante una misma consulta formulada por dos estudiantes distintos, el conjunto de LOs recuperados podría variar significativamente en función del dominio de la materia que tenga cada uno

COMBINANDO OBJETIVOS A CORTO Y LARGO PLAZO

Nuestra estrategia de recomendación basada en contenido sigue una aproximación reactiva: el estudiante proporciona una consulta y el recomendador responde con una recomendación. El estudiante efectúa la consulta utilizando los conceptos existentes en la ontología del dominio. Esta consulta representa los objetivos para la sesión de aprendizaje: los conceptos que el estudiante quiere aprender en la sesión. La recomendación se compone de dos pasos,

B. Etapa de Ordenación Recientemente se ha hecho evidente que las tradicionales nociones de similitud no siempre son ideales, inspirando a muchos investigadores a buscar alternativas para juzgar la utilidad de un elemento en un contexto dado. En el presente trabajo, proponemos reemplazar la métrica de similitud pura utilizada en [10][11] con una métrica basada en la calidad. Una vez que los LOs han sido recuperados, la etapa de ordenación los ordena de acuerdo a

ISSN 1932-8540 © IEEE

34

IEEE-RITA Vol. 5, Núm. 1, Feb. 2010

la calidad asignada a cada uno de ellos. La calidad se calcula de manera que la prioridad es para aquellos LOs que son más similares a la consulta del estudiante, y al mismo tiempo, tienen mayor utilidad pedagógica de acuerdo al perfil del estudiante. A fin de calcular la calidad de un LO L para un estudiante S que ha proporcionado una consulta Q hemos seleccionado una métrica de calidad definida como la suma ponderada de dos términos: la similitud (Sim) entre Q y los conceptos cubiertos por L, y la utilidad pedagógica (UP) de L con respecto al estudiante S: Calidad(L,S,Q) Sim(L,Q) (1 ) UP(L,S), [0,1] (1) A fin de calcular los dos resultados parciales, Sim y UP, pueden utilizarse diferentes aproximaciones y métricas. De esta manera, el modelo de ordenación aquí presentado ofrece un marco de trabajo que puede ser instanciado desde distintas estrategias de recomendación. A continuación presentamos las decisiones tomadas. El cómputo de la similitud Sim(L,Q) entre los conceptos recogidos en la consulta Q y los conceptos que L cubre requiere calcular la similitud entre dos conjuntos de conceptos. Existen diferentes métricas que pueden usarse en casos como éste. En concreto, nos hemos decidido por una simplificación de la similitud entre conjuntos de conceptos que consiste en comparar los conceptos individuales que resultan de la conjunción de cada uno de los conjuntos de conceptos –el concepto que resulta de la conjunción de los conceptos de la consulta (Q_CC) y el concepto que resulta de la conjunción de los conceptos que cubre L (L_CC)– en lugar de comparar directamente dos conjuntos de conceptos. Asumiendo esta simplificación, podemos emplear cualquiera de las métricas aceptadas para comparar dos valores jerárquicos. Por nuestra parte, hemos decidido utilizar la métrica de similitud definida en [12]: super(Q _ CC )  super( L _ CC ) (2) Sim( L, Q) super(Q _ CC ) super( L _ CC ) donde super(Q_CC) representa el conjunto de todos los conceptos contenidos en la ontología que son superconceptos de Q_CC y super(L_CC) contiene todos los conceptos contenidos en la ontología que son superconceptos de L_CC. En consecuencia, el valor de Sim(L,Q) se encuentra en el intervalo [0, 1]. En resumen, esta métrica de similitud calcula la relevancia de un LO debida a los objetivos de la sesión (reflejados en la consulta propuesta por el estudiante) que L satisface, lo que hemos llamado los objetivos a corto plazo. Cuanto mayor es el número de conceptos de la consulta que L permite aprender, mayor será el valor de la similitud. Cuanto más similares sean los conceptos que cubre L y los conceptos explicitados en la consulta, mayor será el valor de similitud. Como podemos observar, el conocimiento de la similitud entre los conceptos representados en la ontología es crucial en nuestro contexto.

A fin de medir la utilidad pedagógica que el LO L muestra para un estudiante S dado, UP(L,S), hemos adoptado una estrategia pedagógica que promueve completar las carencias de conocimiento del estudiante incluyendo conocimientos de refuerzo [17]. El objetivo es asignar una utilidad pedagógica mayor a L si éste cubre conceptos en los cuales el estudiante ha demostrado tener un bajo nivel de competencia. De esta manera, L puede ayudar al estudiante a reforzar sus conocimientos sobre esos conceptos y así alcanzar sus objetivos de aprendizaje a largo plazo. Este refuerzo de conocimiento podría asignar prioridad a LOs que el estudiante todavía no ha explorado, o puede repartirla de una manera igualitaria entre los LOs explorados y no explorados. Hemos optado por calcular la utilidad pedagógica de acuerdo a la siguiente fórmula: (3) UP(L,S) 1 MAN(L,S) donde MAN(L, S) es la media aritmética normalizada de los niveles de competencia alcanzados por el estudiante S en los conceptos cubiertos por L, de modo que MAN(L, S) estará en el intervalo [0, 1]. UP(L, S) también toma valores en el intervalo [0, 1]. Resumiendo, (3) calcula valores bajos para la UP(L,S) si el estudiante ha demostrado buen conocimiento en los conceptos cubiertos por L. Por el contrario se obtienen valores altos de UP(L,S) si el estudiante tiene un bajo nivel de conocimiento en la mayor parte de los conceptos que cubre L. Además (3) trata de igual manera los LOs explorados y no explorados. La medida de calidad resultante definida en (1), junto con la Similitud (2) y la utilidad pedagógica expuesta en (3), permite introducir un considerable grado de personalización en la etapa de ordenación. La calidad de un LO finalmente propuesto para un estudiante depende parcialmente de la utilidad pedagógica que el LO tiene para conseguir los objetivos a largo plazo del estudiante. La influencia final de la utilidad pedagógica y, como consecuencia, el nivel de personalización conseguido en la lista final de LOs recomendados puede ser controlado por medio del valor asignado al peso utilizado en (1). Valores bajos de le dan la prioridad a la utilidad pedagógica en contra de la similitud con la consulta. En particular, = 0 representa el nivel más alto de personalización a largo plazo, y en este caso, la consulta (objetivos para la sesión) sólo se utiliza en la etapa de recuperación. Esto asegura que el recomendador propone LOs que cumplan con los objetivos de la sesión a un nivel mínimo, aunque el orden en el cual son propuestos al estudiante está totalmente influenciado por los objetivos a largo plazo que permiten alcanzar (su capacidad de refuerzo de conocimientos ya manejados). Por el contrario, valores altos de α dan prioridad a la similitud con la consulta frente a la utilidad pedagógica. Una vez que el valor de utilizado en (1) se fija, el recomendador muestra el mismo comportamiento, en lo que respecta al tipo de personalización que ofrece, para todos los

ISSN 1932-8540 © IEEE

INIESTA, JIMÉNEZ Y ALBARRÁN: PERSONALIZACIÓN EN RECOMENDADORES BASADOS EN CONTENIDO... 35

Tabla 1. Un conjunto de LOs del repositorio junto con los conceptos que cubren, su similitud con la consulta, la media aritmética normalizada (MAN) y la utilidad pedagógica (UP), así como la calidad para distintos valores de en (1). Calidad LOs y Conceptos

Fig. 1. Una parte de la ontología y una esquematización de los niveles de competencia de un estudiante.

estudiantes. Podemos obtener un comportamiento más flexible si, en un recomendador dado, puede tomar diferentes valores. De esta manera, el recomendador muestra una mayor adaptabilidad para los potenciales usuarios. Por ejemplo, el valor de puede depender del tipo de estudiante que utiliza el recomendador. Valores altos de puede ser apropiados para los buenos estudiantes, aquellos cuyos perfiles muestran un buen rendimiento. Estos estudiantes rara vez necesitaran reforzar conocimientos y el recomendador podría centrarse en sus objetivos de aprendizaje de la sesión dando prioridad a aquellos LOs que están más correlacionados con la consulta. Por el contrario, valores bajos de α pueden ser apropiados para estudiantes con bajo rendimiento, de tal manera que el recomendador fomente solventar sus carencias de conocimiento sin comprometer significativamente los intereses del estudiante reflejados en la consulta.

IV. APLICACIÓN DE LA ESTRATEGIA A UN REPOSITORIO DE RECURSOS EDUCATIVOS DE PROGRAMACIÓN En esta sección, describimos el proceso de aplicación de la aproximación general a un repositorio de recursos educativos de Programación que en la actualidad se utiliza como material de apoyo en las asignaturas de “Introducción a al Programación” en nuestra centro docente. Comenzaremos detallando las fuentes de conocimiento: la ontología, los LOs y el perfil del estudiante. A continuación, ejemplificaremos una sesión de recomendación y compararemos los diferentes resultados obtenidos para distintos valores del parámetro α en (1). Utilizamos una ontología de conceptos de programación que nos permite indexar los LOs contenidos en el repositorio. Esta ontología está basada en otras ontologías existentes sobre Programación [18]. En la Fig. 1 se muestra un fragmento de la ontología. Por ejemplo, vemos que en la ontología se encuentra definido el concepto Bucle que subsume aquellos conceptos relacionados con las estructuras iterativas en C++ como, por ejemplo, while y do_while (véase la relación es que se muestra en la figura). La relación de precedencia definida trata de reflejar la secuenciación tradicional utilizada en la enseñanza de la programación (véase la relación sec mostrada en la figura). Observamos que el concepto Bucle debería

L01 (if, for) L02 ( if, while, registro) L03 (switch, for) L04 (switch, while, array) L05 (if, while)

Sim MAN

UP

1

6.5

0.35

α=1 1

α=0.5 0.67

α=0.25 0.51

α=0 0.35

--

--

--

--

--

--

--

0.75

4.5

0.45

3

0.55 0.75

0.65

0.6

0.55

0.7

0.45

0.57

0.64

0.7

0.75

0.67

0.64

0.6 0.35

0.75

4

0.6

1

6.5

0.35

0.67

0.51

L07 (if, for, while) L08 (if, for, do_while) L09 (if, for, array)

0.89

4.3

0.57 0.89

0.73

0.65

0.57

0.89

7.6

0.24 0.89

0.57

0.4

0.24

0.89

6

0.4

0.89

0.65

0.52

0.4

L10( if, for, switch)

0.89

5.6

0.44 0.89

0.67

0.55

0.44

L06 (if, for)

1

aprenderse después del concepto Condicional y antes que Array. En nuestro repositorio existen distintos LOs de Programación: notas teóricas, ejemplos de código, ejercicios de programación resueltos, preguntas de examen, exámenes (conjuntos de preguntas de exámenes) y ejercicios de programación. En la Fig. 1 también se encuentra reflejado los niveles de competencia mostrados por el estudiante utilizado en el ejemplo de recomendación. Por supuesto, en la práctica esta información no está incluida en la ontología, pero la hemos incluido en la Fig. 1 con el fin de que al lector le resulte fácil visualizar el estado cognitivo del estudiante tomado como ejemplo. El perfil de estudiante refleja el valor del nivel de competencia alcanzado en cada concepto en el que el estudiante ha sido evaluado. Estos son los conceptos que consideramos “ya explorados”. En este caso, los conceptos Array y Registro no han sido explorados por el estudiante. Podemos observar que el concepto Array está “listo para ser explorado” por el estudiante, de acuerdo a las condiciones mencionadas en la sección III.A, si consideramos que el “umbral de progreso” toma un valor en el intervalo (0, 5]: el nivel de competencia para el concepto Bucle es 5 por lo que el concepto Array puede ser descubierto. El perfil del estudiante se actualiza mediante unos test que el estudiante puede realizar en cualquier momento para evaluar sus niveles de competencia. Si el perfil de estudiante no ha sido actualizado en un periodo largo de tiempo, el sistema puede sugerir al estudiante que realice un test con el fin de actualizar su perfil. Los test permiten calcular el conocimiento del estudiante sobre los conceptos de más bajo nivel de la ontología. El nivel de competencia de los conceptos de alto nivel en la ontología

ISSN 1932-8540 © IEEE

36

IEEE-RITA Vol. 5, Núm. 1, Feb. 2010

se calculan de acuerdo a la media aritmética de los niveles de competencia de aquellos conceptos que subsumen. A. Una Sesión de Recomendación Comencemos señalando los compromisos adoptados en el ejemplo. Con respeto a la etapa de recuperación: Consideramos un proceso de recuperación flexible que busca LOs indexados por los conceptos de la consulta y sus hermanos en la ontología. Por ejemplo, si la consulta contiene el concepto if, el conjunto inicial de LOs que satisfacen esta condición serán todos aquellos que cubran algún subconcepto de Condicional. Asumimos que el umbral de progreso está fijado en 5, el valor medio del intervalo [0, 10]. El nivel de competencia de cada concepto toma un valor en el intervalo [0, 10]. Con respecto a la etapa de ordenación debemos señalar que para calcular el valor de MAN(L,S) cuando L cubre conceptos que todavía no han sido explorados (es decir, no tienen un nivel de competencia asociado) se ha adoptado el criterio de asignar a dichos conceptos un valor de nivel de competencia intermedio en la escala considerada. De esta manera los resultados de las valoraciones no se verán influenciados por estos conceptos que carecen de nivel de competencia. Una vez que los LOs han sido ordenados, sólo cuatro de ellos serán mostrados al estudiante. Necesariamente el número de recursos que se le muestran al estudiante debe ser limitado para no sobrecargar de trabajo al estudiante en cada sesión de aprendizaje. Supongamos que los conceptos que el estudiante quiere aprender en la sesión son if y for. Entonces seleccionará estos conceptos en la consulta, quedando ésta definida como Q = if + for. La columna izquierda de la Tabla 1 muestra un subconjunto de LOs contenidos en el repositorio y los conceptos que cubren cada uno de ellos. Todos estos LOs serán recuperados excepto L02. L02 cubre el concepto Registro, que no puede ser explorado por el estudiante actual de acuerdo a su perfil: todavía no ha explorado el concepto Array que es el predecesor de Registro. En la Tabla 1 también se muestra la Similitud con la consulta, el valor de MAN y la utilidad pedagógica UP para cada LO recuperado. También se muestra una comparación de la Calidad calculada para distintos valores de α en (1). Si α = 1 (ver Tabla 1, Columna α = 1), la métrica de calidad es igual a la similitud entre el LO y la consulta. Con este valor obtenemos una personalización en-sesión, debido a que UP no es tenida en cuenta. Sólo aquellos LOs que están altamente relacionados con la consulta del estudiante – aquellos LOs que cubren exactamente los mismos conceptos especificados en la consulta, seguidos de aquellos LOs que cubran los conceptos de la consulta y alguno más– son los candidatos a ser recomendados. De este modo, las principales recomendaciones apenas diferirán entre sí. Como consecuencia, si a un estudiante no le gustan las primeras

recomendaciones probablemente tampoco estará satisfecho con las siguientes. Esto se conoce como el problema de la sobreespecialización o la falta de diversidad. Si α = 0.5 (ver Tabla 1, Columna α = 0.5), la similitud con la consulta y la utilidad pedagógica tienen el mismo peso en (1). Los LOs que están altamente relacionados con la consulta siguen siendo los propuestos. Sin embargo, son reordenados de manera que la prioridad en este caso es para L07 que, al mismo tiempo, cubre conceptos que tienen bajos niveles de competencia en el perfil del estudiante. Podemos observar que L05, que cubre un concepto que tiene un bajo nivel de competencia en el perfil de estudiante, también es propuesto en la recomendación. Si α = 0.25 (ver Tabla 1, Columna α = 0.25), la utilidad pedagógica tiene mayor peso que la similitud con la consulta. En este caso, el recomendador proporciona aquellos LOs que mejor se adaptan al perfil del estudiante. Estos LOs serán aquellos que promuevan solventar las carencias de conocimiento del estudiante. El concepto switch tiene un nivel de competencia igual a 4; L03 y L04 tratan de remediar esa carencia. El concepto while tiene un nivel de competencia igual a 0; L04, L05 y L07 tratan de solventar esta carencia. En esta estrategia los LOs recomendados son más diversos. Cada LO refuerza diferentes conceptos. Este valor de α proporciona una personalización fuerte y una diversidad adecuada en los LOs recuperados, sin comprometer significativamente el interés que para la sesión puedan tener los LOs. Por último, si consideramos α = 0 (Tabla 1, Columna α = 0) sólo la utilidad pedagógica es considerada. Podemos observar que el primer LO propuesto es el más diferente a la consulta. Desde nuestro punto de vista, creemos que estos resultados pueden resultar confusos para el estudiante. A la vista de los resultados que hemos obtenido explorando distintos valores de α, distintas partes de la ontología y diferentes perfiles de estudiante, considerados que debe adoptarse un compromiso en la elección de α y en la flexibilidad de la etapa de recuperación. Asumiendo una estrategia de recuperación como la aquí propuesta, consideramos que el valor de α debería estar en el rango que va desde 0.25 hasta 0.5. Por ejemplo, α = 0.5 puede ser utilizado para aquellos estudiantes cuyos perfiles muestran un buen rendimiento. En cambio, α = 0.25 puede ser apropiado para estudiantes con bajo rendimiento.

V. CONCLUSIONES, TRABAJO RELACIONADO Y TRABAJO FUTURO En este artículo hemos describo una aproximación novedosa en recomendación basada en contenidos de LOs que fomenta altos niveles de personalización. Hemos mostrado su aplicación en el dominio de la Programación pero la estrategia puede ser aplicada en cualquier otro dominio educativo.

ISSN 1932-8540 © IEEE

INIESTA, JIMÉNEZ Y ALBARRÁN: PERSONALIZACIÓN EN RECOMENDADORES BASADOS EN CONTENIDO... 37

Los primeros sistemas dedicados a la enseñanza de la Programación basados en ejemplos tenían una interfaz sencilla que seleccionaba ejemplos relevantes y proporcionaba búsquedas a partir de palabras claves que aparecían en el enunciado del problema o en el código del mismo [7]. Estas herramientas no tenían en cuenta el conocimiento actual del estudiante, así que podían recuperar ejemplos que trataban conceptos que el estudiante todavía no sabía, o incluso conceptos que todavía no estaba preparado para aprender. Otros entornos dejaban en manos del estudiante la responsabilidad de buscar los ejemplos permitiéndole explorar el repositorio completo a su gusto. WebEx [1], un sistema para explorar ejemplos de programación comentados desarrollados en el lenguaje C, es un ejemplo de este tipo de entornos. Recientes investigaciones en recursos educativos han señalado la necesidad de la adaptación en los entornos educativos. NavEx [19], una evolución de WebEx, clasifica ejemplos de acuerdo al estado actual de los conocimientos del estudiante y su historia pasada de interacciones con el sistema. Este sistema aplica navegación adaptada para: (a) distinguir nuevos ejemplos de ejemplos que han sido parcial o totalmente explorados y (b) categorizar ejemplos que están “listos para” o “todavía no preparados para” ser explorados de acuerdo al estado actual de los conocimientos del estudiante. Las aproximaciones empleadas en WebEx y NavEx proporcionan un gran nivel de flexibilidad desde el punto de vista del estudiante. Sin embargo los problemas aparecen cuando estas aproximaciones se utilizan en repositorios con un gran número de recursos disponibles. En este caso, los estudiantes pueden llegar a perderse entre los recursos. Por este motivo, consideramos necesario la inclusión de algún mecanismo que ayude al estudiante a localizar aquellos LOs relevantes para él. Algunos repositorios educativos utilizan navegación social para resolver el problema de encontrar el siguiente ejemplo a explorar. Este es el caso de Knowledge Sea [2], una plataforma de acceso electrónico a documentos sobre el lenguaje de programación C que incorpora navegación social. El motor de búsqueda de Knowledge Sea utiliza un vector de valoraciones para ordenar los LOs recuperados de acuerdo a su relevancia expresada mediante indicaciones visuales. La mayoría de las bibliotecas digitales de recursos educativos se basan principalmente en la recuperación basada en contenido [14]. Los LOs son consideradors como documentos y los motores de búsqueda aplican métodos de recuperación de información, como el modelo del espacio vectorial, para recuperar aquellos LOs que satisfagan la consulta del estudiante. Los métodos de filtrado híbrido que combinan técnicas basadas en contenido con aspectos colaborativos se están utilizando en los sistemas recomendadores. Sin embargo, constituyen una novedad en el acceso a repositorios de recursos educativos. El trabajo aquí presentado constituye un avance en este sentido. Hemos

diseñado una sofisticada estrategia de recomendación basada en contenido que encaja perfectamente en la estrategia híbrida presentada en [10][11]. Actualmente, utilizamos la información sobre la historia de navegación almacenada en el perfil con el fin de marcar visualmente que el LO ya ha sido explorado. Un refinamiento de la métrica de calidad podría tener en cuenta esta característica con el fin de penalizar los LOs ya explorados. Para finalizar, en la estrategia reactiva aquí presentada el estudiante debe proponer una consulta al sistema que represente sus objetivos de aprendizaje a corto plazo en términos de los temas en los que está interesado. Plantear esta consulta impone una curva de uso para aquellos estudiantes que tienen poco conocimiento del domino. Con el fin de aliviar esta desventaja, tenemos la intención de complementar la aproximación reactiva con una estrategia de recomendación proactiva que proponga al estudiante LO que le puedan resultar interesantes en una sesión de aprendizaje, sin necesidad de que éste realice una consulta al sistema. El trabajo preliminar sobre la estrategia proactiva aparecen en [16].

AGRADECIMIENTOS Este trabajo ha sido parcialmente desarrollado y financiado por el proyecto TIN2009-13692-C03-03 del Ministerio de Ciencia e Innovación. REFERENCES P. Brusilovsky, “WebEx: Learning from Examples in a Programming Course”, in Proc. World Conf. of the WWW and Internet, AACE, Orlando, FL, 2001, pp. 124-129. [2] P. Brusilovsky, R. Farzan and J-w. Ahn, “Comprehensive personalized information access in an educational digital library”, in Proc. ACM/IEEECS Joint Conf. on Digital libraries, ACM, Denver, CO, USA, 2005, pp. 9-18. [3] R. Burke, “Hybrid Web Recommender Systems”, in The Adaptive Web, LNCS, Vol. 4321, 2007, pp.377-408. [4] J.M. Dodero, P. Díaz, ,I. Dodero, A. Sarasa, “Integrating Ontologies into the Collaborative Authoring of Learning Objects”, in J. of Universal Computer Science, vol. 11 no. 9, pp.1568-1575, 2005. [5] H. Draschler, H. Hummel, and R. Koper, “Recommendations for learners are different: Applying memory-based recommender systems techniques to lifelong learning”, in Workshop on Social Information Retrieval for Technology-Enhanced Learning, 2007. [6] H. Draschler, H. Hummel, and R. Koper, “Personal Recommender Systems for learners in lifelong learner networks: the requirements, techniques and model”, in Int. J. of Learning Technologies, vol 3, no 4, pp. 404-423, 2008. [7] J.M. Faries, and B.J. Reiser, “Access and Use of Previous Solutions in a Problem Solving Situation”, in Procs. 10th Annual Conference of the Cognitive Science Society, Lawrence Erlbaum Associates, Montreal, 1998, pp. 433-439. [8] R. Farzan, and P. Brusilovsly, “Social navigation support in a course recommender system”, in Proc. Int. Conf. on Adaptive Hypermedia and Adaptive Web-based Systems, Springer Verlag, Berlin, 2006, pp. 91-100. [9] E. García-Salcines, C. Romero-Morales, S. Ventura-Soto, and C. CastroLozano, “Sistema recomendador colaborativo usando minería de datos distribuida para la mejora continua de cursos e-learning”. IEEE-RITA, vol. 3, no. 1, pp. 19-30, 2008. [10] M. Gómez-Albarrán, and G. Jiménez-Díaz, “Recommendation and Students‟ Authoring in Repositories of Learning Objects: A Case-Based [1]

ISSN 1932-8540 © IEEE

38

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

IEEE-RITA Vol. 5, Núm. 1, Feb. 2010 Reasoning Approach”, in Int. J. on Emerging Technologies in Learning, vol. 4 no. Special Issue, pp. 35-40, 2009. M. Gómez-Albarrán, S. Bautista-Blasco, and J. Carrillo de Albornoz, “Personalized Access and Students‟ Coauthoring in Repositories of Learning Objects: The Case of a Repository of Programming Examples”, in Proc. Int. Conf. on Advanced Learning Technologies, IEEE, Los Alamitos, CA, 2008, pp. 693-695. P. González-Calero, B. Díaz-Agudo, and M. Gómez-Albarrán, “Applying DLs for Retrieval in Case-Based Reasoning”, in Int. Workshop on Description Logics, 1999, pp. 51-55. H. Hummel, B. Van den Berg, A. Berlanga, H. Drachsler, J. Jansenn, R. Nadolski, and R. Koper, “Combining social-based and information-based approaches for personalised recommendation on sequencing learning activities”, in Int. J. of Learning Technology, vol. 3, no. 2, pp. 152-168, 2007. C. Lagoze, W. Arms, S. Gan, D. Hillmann, C. Ingram, D. Krafft, R. Marisa, J. Phipps, J. Saylor, C. Terrizzi, W. Hoehn, D Millman, J. Allan, S. Guzman-Lara, T. Kalt, “Core services in the architecture of the national science digital library (NSDL)”, in Proc. 2nd ACM/IEEE-CS Joint Conf. on Digital libraries, ACM, Portland, Oregon, USA, 2002, pp. 201-209. M. O' Mahony, and B. Smyth, “A Recommender System for On-line Course Enrolment: An Initial Study”, in Proc. ACM Conf. on Recommender Systems, ACM, Minneapolis MN, USA, 2007, pp.133-136. A. Ruiz-Iniesta, G. Jiménez-Díaz, and M. Gómez-Albarrán, “Recommendation in Repositories of Learning Objects: A Proactive Approach that Exploits Diversity and Navigation-by-Proposing”, in Proc 9th IEEE International Conference on Advanced Learning Technologies, IEEE Computer Society, Riga, Latvia, 2009, pp. 543-545. J. Siemer, and M.C. Angelides, “Towards an Intelligent Tutoring System Architecture that Supports Remedial Tutoring”, in Artificial Intelligence Review, vol. 12, no. 6, pp. 469-511, 1998. S. Sosnovsky, and T. Gavrilova, “Development of educational ontology for C-programming”, in Int. J. Information, Theories & Applications, vol. 13, no. 4, pp. 303-307, 2006. M. Yudelson, and P. Brusilovsky, “NavEx: Providing Navigation Support for Adaptive Browsing of Annotated Code Examples”, in Proc. Int. Conf. on Artificial Intelligence in Education, IOS Press, Amsterdam, 2005, pp. 710-717.

Mercedes Gómez-Albarrán es Licenciada en Ciencias Físicas y Doctora en Informática por la Universidad Complutense de Madrid. En la actualidad es Profesora Titular del Departamento de Ingeniería del Software e Inteligencia Artificial de la Universidad Complutense de Madrid y desempeña el cargo de Secretaria de la Facultad de Informática de la misma universidad. Inició su labor investigadora en la confluencia de la Ingeniería del Software y las técnicas de Inteligencia Artificial (especialmente, el Razonamiento Basado en Casos). Actualmente trabaja en temas relacionados con técnicas personalizadas de recomendación y su aplicación al ámbito del e-learning. Su interés investigador también se centra en el uso de videojuegos y entornos virtuales en el ámbito educativo. Ha sido investigadora responsable de varios proyectos de innovación educativa y es autora de más de 40 trabajos publicados en revistas y actas de conferencias internacionales.

Almudena Ruiz Iniesta es Ingeniera en Informática por la Universidad Complutense de Madrid. Actualmente realiza su tesis doctoral en el Departamento de Ingeniería del Software e Inteligencia Artificial de la Universidad Complutense de Madrid sobre la aplicación de técnicas de recomendación al dominio del elearning.

Guillermo Jiménez Díaz es Ingeniero en Informática y Doctor en Informática por la Universidad Complutense de Madrid. En la actualidad es Ayudante Doctor del Departamento de Ingeniería del Software e Inteligencia Artificial de la Universidad Complutense de Madrid. También es miembro del Grupo de Aplicaciones en Inteligencia Artificial, grupo de investigación consolidado en la UCM. Su tesis doctoral trató sobre el traslado de técnicas de aprendizaje activo a entornos virtuales para la enseñanza de Programación Orientada a Objetos. Su interés investigador actual se centra en el estudio y uso de técnicas de recomendación en distintos dominios como son el e-learning, la recomendación para grupos y el matchmaking en videojuegos.

ISSN 1932-8540 © IEEE