MOOC-Maker Construction of Management Capacities of MOOCs in Higher Education (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP)

WPD1.7

Informe sobre estado de arte en relación a la evaluación de la calidad de cursos MOOCs Versión 1.0 (Español) 17/6/2016 Autoras: Alejandra Meléndez, Rossana Pinillos, Mariela Román

2

RESUMEN La siguiente investigación da a conocer los modelos de calidad que se pueden aplicar a cursos MOOC, con el fin de crear bases para garantizar la calidad durante la realización del proyecto MOOC-Maker u otros proyectos MOOC que diversas instituciones planifiquen realizar. El Informe sobre estado de arte en relación a la evaluación de la calidad de cursos MOOCs, parte de la investigación de artículos y publicaciones acerca de la calidad y los MOOCs. Inicialmente se abordan los conceptos de MOOC, calidad, calidad en la educación superior y calidad en el e-learning. Luego se incluyen propuestas de modelos de calidad, evaluaciones en cursos MOOC, herramientas de evaluación, así como los criterios que implementan otras instituciones. Los resultados del informe establecen que hay pocas investigaciones en relación a la evaluación de calidad de MOOC, por lo que se consideraron adaptaciones de metodologías de e-learning.

3

TABLA DE CONTENIDOS 1 INTRODUCCIÓN ................................................................................................................ 4 2.1

Objetivo general .............................................................................................................5

2.2

Objetivos específicos .....................................................................................................5

3 METODOLOGÍA ................................................................................................................. 6 4 ¿QUÉ ES UN MOOC? ......................................................................................................... 7 5 CALIDAD EDUCATIVA....................................................................................................... 8 5.1 Calidad en la educación superior .......................................................................................9 5.2 Calidad en el e-learning .................................................................................................... 11 5.2.1 Estándares de calidad .......................................................................................................... 12

6 CALIDAD EN CURSOS MOOC .......................................................................................... 13 6.1 ropuesta modelos de calidad en cursos MOOC ............................................................... 15

7 CONCLUSIONES .............................................................................................................. 27 8 REFERENCIAS ................................................................................................................. 29 AGRADECIMIENTOS ........................................................................................................... 31

4

1 INTRODUCCIÓN Desde que los Massive Open Online Courses (MOOCs) se consideraron una modalidad de formación, han sido pocos los estudios en torno a la evaluación de la calidad de este tipo de cursos. Los primeros artículos que se encontraron para elaborar el estado del arte datan del año 2013 y las últimas publicaciones encontradas son del año 2015. Las características fundamentales de los MOOCs según Downes (2013) son cuatro: masivos, abiertos, en línea, contienen la estructura de un curso virtual. Por lo tanto, su calidad se ha evaluado de la misma forma que los cursos en línea. Las fuentes consultadas para determinar los distintos modelos y herramientas de la evaluación de la calidad son: Ramírez (2015), Gea (2015), Read y Covadonga (2014), Martín, González, García (2013) y Guerrero (2015), Downes,(2013) y Hayes (2015). Así mismo se tomaron en cuenta las experiencias de instituciones como la Universidad Nacional de Educación a Distancia de España, Universidad Pablo de Olavide de Sevilla, España, el checklist de edX de la Universidad Carlos III de Madrid, el checklist de la plataforma Udemy, la Fundación Europea para la Calidad en e-learning (EFQUEL) y la Guía Afortic, para determinar los criterios e indicadores usados para evaluar la calidad. La literatura de EFQUEL (2013) y Gea (2015) sugiere que algunos de los criterios utilizados en la evaluación de la calidad MOOCs son similares a los que se aplican en un curso tradicional, así como en curso virtual. La revisión de las investigaciones señala que la mayoría

de

indicadores

de

calidad

que

se

relacionan

con

los

modelos

son:

planificación/programa/introducción, diseño/estructura, recursos y evaluación. Los resultados de la investigación han demostrado que en los MOOC también es posible aplicar estándares para evaluar la calidad, así como

herramientas y modelos para evaluar la

metodología del curso y aspectos técnicos. En el informe, primero se analizan los conceptos básicos relacionados, MOOC, calidad en la educación, calidad en la educación superior y calidad en e-learning, luego se revisa la bibliografía e investigaciones relacionadas con la evaluación de calidad en MOOC, además se exponen las propuestas de modelos de calidad de diversas instituciones, con el fin de dar respuesta a las siguientes preguntas de investigación:

5

1) ¿Cómo se evalúa la calidad de los cursos MOOC? 2) ¿Se puede utilizar en los cursos MOOC la misma metodología para la evaluación de la calidad de los cursos e-learning? 3) ¿Qué modelos se han utilizado para evaluar la calidad en MOOC?

2 OBJETIVOS 2.1 Objetivo general 

Elaborar un estado del arte en relación a la evaluación de calidad de cursos MOOC.

2.2 Objetivos específicos 

Proporcionar una visión global del estado actual de las iniciativas de modelos de evaluación de calidad en los MOOC.



Identificar los modelos de evaluación de calidad de MOOCs que han utilizados diferentes instituciones.

6

3 METODOLOGÍA Este es un estudio documental cuyo propósito es establecer el estado del arte de la evaluación de la calidad de los cursos MOOC. Primero se definieron los términos clave para el estudio: MOOC, calidad en educación, calidad en educación superior y calidad en e-learning. Luego se procedió a buscar información, por medio de publicaciones, artículos y estudios relacionados con el tema de calidad en los cursos MOOC. Se seleccionaron las fuentes con la información más relevante para responder a las inquietudes planteadas al inicio de la investigación. Finalmente, se sistematizó la información que servirá como referencia para establecer las metodologías y modelos de evaluación de calidad de cursos MOOC y asimismo presentar las conclusiones del estudio. La figura 1 sintetiza las fases que se siguieron para realizar la investigación: Figura 1 Fases de la metodología utilizada para establecer el estado del arte

Fase 1 Establecer los términos clave sobre los que se basa el estudio

Fase 2 Buscar información y seleccionar las principales fuentes

Fase 3 Sistematizar la información

7

4 ¿QUÉ ES UN MOOC? Massive Open Online Courses (MOOC) es una modalidad de cursos abiertos en línea, en los que participa un número masivo de estudiantes, en donde la gestión, creación y difusión se apoya en una plataforma educativa. El termino fue acuñado por Dave Cormier y Brian Alexander en 2008 para designar el curso en línea: "Connectivism and Connective Knowledge", realizado por George Siemens y Stephen Downes en la Universidad Manitob. Este fue considerado el primer curso MOOC, el cual tuvo una duración de 12 semanas y fue cursado por aproximadamente 2.200 estudiantes de distintos países. (Cuenca, Arquero, Ramos, Cobo, s.f.) Luján y Pernías (2013) sugieren una serie de características mínimas para considerar un curso MOOC: Curso: al igual que cualquier otro curso, los MOOC contienen una estructura basada en objetivos de aprendizaje, contenidos y evaluaciones. Abierto: este termino tiene dos significados para este tipo de cursos. Primero, significa que el curso debe ser accesible a todo el mundo (abierto a estudiantes de fuera de la universidad que organiza el curso) sin exigir requisitos como la posesión de una titulación o la realización de unos estudios previos que impidan la participación. El segundo significado, hace referencia al concepto de Recursos Educativos Abiertos, es decir, el uso intensivo de contenidos con licencias abiertas. En línea: el curso se realiza a distancia a través de Internet, facilitando el acceso y participación a cualquier persona. Gran escala: permitir el acceso a una cantidad grande de estudiantes, con un alcance global. Además, el curso debe estar preparado para aceptar cambios en el número de estudiantes en varios órdenes de magnitud, por ejemplo, pasar de 1.000 a 100.000 estudiantes, sin que eso suponga un problema importante para su funcionamiento. Méndez (2013) menciona como otra característica importante, que está basado en la enseñanza colaborativa o conectiva, los estudiantes dejan de ser actores individuales en su aprendizaje y pasan a formar parte de una comunidad de aprendizaje mucho más amplia, en la que el

8 conocimiento no procede exclusivamente del profesor, sino también de la participación e implicación de otros estudiantes.

5 CALIDAD EDUCATIVA Edwards (1991) define la calidad como un valor asignado a un proceso o producto educativo en términos comparativos. Se compara la realidad observada con un término deseable al modo que en la cadena de producción se realiza un “control de calidad”; esto, salvando las distancias que existen entre la producción de bienes y la producción cultural –en donde los “criterios de calidad” implican posicionamientos acerca de la sociedad, el sujeto y la educación. “Los criterios de calidad” en un sistema de producción cultural son fijados por medio de un arbitrario cultural y no por razones fundamentadas en criterios fijos provenientes de la lógica material de la producción tecnológica. Lo deseable respecto de la calidad de la educación debe ser definido en cada caso, convirtiéndose en “norma” o “criterio de calidad”. Por otro lado, para George Kuh (1981) la calidad es un término relativo. Algo es percibido como de "alta calidad" si cumple con ciertos estándares o si responde adecuadamente a necesidades específicas de los individuos o grupos sociales. En educación, calidad frecuentemente implica una búsqueda de constante mejoramiento, competencia técnica, excelencia en la acción, o por obtener un mayor desarrollo personal y se relaciona con el cumplimiento de los propósitos educativos (Carabaña y Torreblanca, en Álvarez Tostado, 1991). OREALC/UNESCO Santiago (2007) plantea un concepto de calidad de la educación conformado por cinco dimensiones esenciales y estrechamente imbricadas, al punto que la ausencia de alguna implicaría una concepción equivocada de la calidad de la educación dentro de un enfoque de derechos humanos. Las cinco dimensiones que se sugieren son: 

Equidad. Debe ofrecer los recursos y ayudas para que todos los estudiantes, de acuerdo con sus capacidades, alcancen los máximos niveles de desarrollo y aprendizaje. La equidad comprende los principios de igualdad y diferenciación, ya que tan solo una

9 educación ajustada a las necesidades de cada uno asegurará que todas las personas tengan las mismas oportunidades para hacer efectivos sus derechos y alcanzar los fines de la educación en condiciones de igualdad. 

Relevancia. La educación será relevante en la medida que promueva aprendizajes significativos, desde el punto de vista de las exigencias sociales y del desarrollo personal. La relevancia se refiere al ‘qué’ y al ‘para qué’ de la educación; es decir, a las intenciones educativas que condicionan otras decisiones, como las formas de enseñar y de evaluar.



Pertinencia. Es la necesidad de que la educación sea significativa para personas de distintos estratos sociales y culturas, y con diferentes capacidades e intereses, de forma que puedan apropiarse de los contenidos de la cultura mundial y local, y construirse como sujetos en la sociedad, desarrollando su autonomía, autogobierno, libertad y su propia identidad.



Eficacia. La eficacia se basa en la medida y proporción en que son logrados los objetivos de la educación establecidos y garantizados en un enfoque de derechos; es decir, respecto de la equidad en la distribución de los aprendizajes, su relevancia y pertinencia.



Eficiencia. Se define con relación al financiamiento destinado a la educación, la responsabilidad en el uso de este y los modelos de gestión institucional y de uso de los recursos.

5.1 Calidad en la educación superior “A nivel del sistema de aprendizaje, se necesita una estructura de apoyo para implementar políticas, establecer normas, distribuir recursos y medir los resultados de aprendizaje de modo que se logre el mejor impacto posible sobre un aprendizaje para todos” (UNESCO 2015). El Informe de Educación Superior en Iberoamérica (2012) indica que el aseguramiento de la calidad en la educación superior se relaciona con una diversidad de propósitos y marcos

10 metodológicos, que reflejan distintos intereses y necesidades, y, por supuesto, al uso que se dará a los resultados. En general, estos propósitos pueden agruparse en tres grandes categorías: 

Control



Garantía



Mejoramiento

La revista digital AKADEMIA, en su artículo Los sistemas de aseguramiento de la calidad en la educación superior en América Latina, explica en qué consiste cada categoría para el aseguramiento de la calidad: El control de calidad se refiere a la responsabilidad de los gobiernos de asegurar que la provisión de educación superior cumple con exigencias mínimas de ese servicio, es decir que corresponde a la aprobación o licenciamiento, referida a la autorización inicial para la operación de las instituciones o sus programas, y a la acreditación que certifica que se cumplen con los estándares mínimos, definidos por las instancias pertinentes. La garantía de la calidad consiste en un proceso de evaluación que conduce a una decisión formal de aceptación, rechazo o en algunos casos, de condicionalidad, respecto del grado en que una institución o programa satisface las exigencias planteadas. El mejoramiento permanente se realiza mediante la auditoría académica (quality audit), en la que el foco de atención está puesto en las políticas y mecanismos institucionales destinados a velar por la calidad de la institución, sus funciones y programas. La calidad requiere también que la enseñanza superior esté caracterizada por su dimensión internacional: el intercambio de conocimientos, la creación de sistemas interactivos, la movilidad de profesores y estudiantes y los proyectos de investigación internacionales, aun cuando se tengan debidamente en cuenta los valores culturales y las situaciones nacionales. Los rápidos progresos de las nuevas tecnologías de la información y la comunicación seguirán modificando la forma de elaboración, adquisición y transmisión de los conocimientos. También es importante señalar que las nuevas tecnologías brindan posibilidades de renovar el contenido de los cursos y los métodos pedagógicos, y de ampliar el acceso a la educación superior. No hay que olvidar, sin embargo, que la nueva tecnología de la información no hace que los docentes

11 dejen de ser indispensables, sino que modifica su papel en relación con el proceso de aprendizaje, y que el diálogo permanente que transforma la información en conocimiento y comprensión pasa a ser fundamental. (UNESCO, 1998, La educación superior en el siglo XXI)

5.2 Calidad en el e-learning Ehler (citado en Hornung y Mayringer, 2006, p.3) considera la calidad en el e-learning como, “un proceso de coproducción entre el entorno de aprendizaje y el estudiante, y por lo tanto, es en parte su propia responsabilidad. Un programa de aprendizaje no es algo que se le entrega a un estudiante por mano de un proveedor de e-Learning, sino que más bien constituye un proceso de coproducción entre el estudiante y el entorno de aprendizaje. Esto significa que el producto o el resultado de un proceso educativo no puede verse influenciado exclusivamente por los "procesos de producción" de una institución educativa”. Los autores Ejanrque, Buendía, Hervás (2008) argumentan que la calidad en el desarrollo de un curso e-learning hace referencia a tres enfoques distintos, pero que, a su vez, se complementan: 

La calidad de los materiales, las actividades y otros recursos formativos. Se trataría de valorar aspectos como accesibilidad, formato o claridad.



La calidad de la plataforma de e-learning. Se analizarían aspectos como la usabilidad, las herramientas ofrecidas o los sistemas de comunicación.



La calidad de la experiencia formativa completa, desde el inicio del curso (planificación, objetivos), pasando por el desarrollo del curso (materiales, puesta en marcha, seguimiento) y, finalmente, la evaluación de los alumnos.

En la misma línea, Campión (2006) señala que dentro del marco de la gestión de la calidad, los aspectos reseñados se pueden estructurar en tres contextos de actuación: por un lado, los referidos a la calidad técnica de los materiales y del medio virtual en el que se desarrolla el proceso de enseñanza-aprendizaje; un segundo ámbito sería el referido a los procesos de gestión administrativa de los usuarios que aprenden autónomamente en la distancia; por último, la necesaria gestión de la calidad del diseño técnico-instructivo que debe acompañar tanto a la producción del material didáctico (gestión del conocimiento) como a la referida al

12 proceso mismo de dinamización del aprendizaje a distancia por internet (gestión del aprendizaje. Trabaldos y Mendizabal (2014) indican que la formación virtual de calidad debe responder a unos requerimientos técnicos y metodológicos que satisfagan las necesidades de los usuarios, es decir, que proporcione la posibilidad de consultar materiales didácticos de calidad – materiales que le aporten conocimientos y no solo información– y medios estables para comunicarse con los directores, tutores y/o profesores de los cursos. Todos los autores coinciden en que el aseguramiento de la calidad en e-learning, debe considerar la calidad de los recursos, la tecnología, la metodología y la administración.

5.2.1 Estándares de calidad La organización Internacional de estandarización (ISO) define estandarización como la actividad que tiene por objeto establecer, ante problemas reales o potenciales, disposiciones destinadas a usos comunes y repetidos, con el fin de obtener un nivel de ordenamiento óptimo en un contexto dado, que puede ser tecnológico, político o económico (Hilera y Hoya, 2010, p.1921). Los estándares son el conjunto de normas que permiten establecer requerimientos de una actividad o servicio para asegurar la calidad. Organismos de Estandarización Son las entidades que realizan la normalización para mejorar la calidad de servicios o productos. Hilera y Hoya (2010), en la publicación “Estándares del e-learning: Guía de consulta” clasifican los organismo de estandarización en nacionales, regionales e internacionales. Organismos nacionales, aprueban las normas que se aplican en un país: American National Standards Institute (ANSI) en Estados Unidos 

British Standard Institution (BS) en Reino Unido



Deutsches Institut für Normung (DIN) en Alemania



Association Française de Normalisation (AFNOR) en Francia



Asociación Española de Normalización y Certificación (AENOR) en España

13 Organismos regionales, están conformados por la unión de los organismos nacionales, que tienen valides en un área relativamente extensa como un continente: 

AMN Asociación Mercosur de Normalización



APEC Asia Pacific Economic Cooperation



CARICOM Caribbean Community Standardization



CENELEC Comité Europeo de Normalización Electrónica



CEN Organismo de estandarización de la Comunidad Europea



COPANT Comisión Panamericana de Normas Técnicas

Organismos internacionales, están formados por la unión de diferentes organismos nacionales de estandarización, elaborando normativas que se aplican a nivel mundial: 

ISO Organización Internacional para la Estandarización



IEC International Electrotechnical Commission



ITU Unión Internacional de Telecomunicaciones



IATA International Air Transport Association

6 CALIDAD EN CURSOS MOOC La calidad en cursos MOOC es un tema poco tratado en la literatura, por lo que las propuestas surgen como una adaptación de la evaluación de los modelos de calidad en e-learning. “El aseguramiento de la calidad viene dado por una metodología para el diseño del curso siguiendo unas pautas bien establecidas: planificación, guías, elaboración del material siguiendo estándares de calidad y accesibilidad, apoyo docente, evaluación [SKAM13]” (Gea, 2015, p.15). Downes (2013) en el artículo “The quality of massive open online course” , propone que la calidad de MOOC se valore por el resultado de los cursos, a través de cuatro criterios: 

Autonomía (los alumnos marcan sus propias metas y objetivos)



Diversidad (consecuencia de la autonomía)



Abertura (no hay límites y los contenidos son fluidos)

14 

Interactividad (mezcla entre conexión e interactividad)

El mismo Downes (2014), afirma que el éxito o fracaso de un curso depende de lo bien que se responda a estos criterios. Por otro lado, Gea (2015) sugiere que una aproximación más directa a la calidad de cursos MOOC sería utilizar indicadores de calidad de la modalidad a distancia (e-learning): 

Planificación: identificación, duración, horas y guías didácticas de apoyo



Diseño: contenidos, recursos didácticos, herramientas de comunicación y actividades



Tutorización y seguimiento: comunicación, incidencias, soporte y tutorías



Evaluación: por pares, autoevaluación, final, por logros…



Incluir soporte de formación y apoyo al profesorado

European Foundation for Quality in e-learning (EFQUEL) es la entidad encargada de la calidad en e-learning, ha desarrollado la inciativa “The MOOC Quality Project”, que trata de abordar la temática de calidad de MOOCs a través de un blog que presenta una serie de artículos, en donde participan expertos de todo el mundo. El artículo “MOOC quality What have we learned?” de EFQUEL (2013) menciona que durante 12 semanas más de 12,000 personas leyeron 12 entradas del blog y muchos utilizaron las opciones de retroalimentación. En los resultados de esta interacción se determinó que algunos criterios eran similares a los que se aplican a un plan de estudios tradicional, pero se manifestaron en nuevas formas. Otros criterios eran específicamente para el entorno en línea. Son muchos los factores que se deben considerar en el momento de evaluar la calidad de un MOOC. Uno de los aspectos más importantes es que la información previa al curso este a disposición de los estudiantes, por ejemplo, el tipo de curso, los enfoques pedagógicos, el nivel de compromiso de los estudiantes, horario / plazos, requisitos técnicos, papel del profesor/tutor (si lo hay), la disponibilidad y el nivel de interacción, la disponibilidad de credenciales, etc. La cuestión clave es asegurar que se cumplan las promesas y que los proveedores de MOOC proporcionen información clara acerca de lo que el curso puede y no puede ofrecer (traducción propia).

15

6.1 Propuesta modelos de calidad en cursos MOOC Uno de los primeros aportes en relación a modelos de calidad de MOOC, fue realizado por los autores Read y Covadonga (2014). En el modelo de la primera edición de la iniciativa UNED MOOC, se evaluaron seis aspectos y se hicieron correcciones de acuerdo con los resultados: 1. Tema, cada curso debía ser específico. Los cursos que eran muy amplios se simplificaron y se dividieron en propuestas de más de un curso. 2. Contenidos, en muchos casos los materiales preparados por el autor del curso fueron adaptados al curso MOOC. 3. Duración, se consideró un tiempo de duración de 25 a 125 horas. 4. Estructura del curso, dependiendo de los objetivos y la duración, este se dividió entre 4 a 8 módulos y cada uno tenía de 4 a 8 videos con actividades y evaluaciones. 5. Diseño instruccional, en el curso se retaba al estudiante a formar parte de su proceso de enseñanza-aprendizaje, la autoevaluación se utilizó como método de evaluación. 6. Canales de comunicación, los foros se utilizaron como herramienta principal para la interacción. Margaryan (2015) propone un análisis acerca de la calidad en el diseño instruccional de cursos MOOCs con base en diez principios, en donde los primeros cinco se fundamentan en las teorías y modelos de diseño instruccional clave de Merrill (2002, 2009, 2013): 1. Problema centrado: el aprendizaje se promueve cuando los estudiantes adquieren habilidades en el contexto de problemas del mundo real. Esto contrasta con la instrucción de un tema centrado, donde el tema se enseña en forma aislada de las tareas del mundo real. 2. Activación: el aprendizaje se promueve cuando los alumnos activan el conocimiento existente como base para adquirir nuevas habilidades. Las actividades deben ayudar a los estudiantes para incorporar nuevos conocimientos o habilidades a sus conocimientos existentes. 3. Demostración: se promueve el aprendizaje cuando los estudiantes observan una demostración de la habilidad que pueden aprender. Esto resalta la importancia de mostrar a los estudiantes cómo aplicar la nueva información o habilidad en situaciones nuevas. 4. Aplicación: se promueve el aprendizaje cuando los estudiantes aplican en la resolución

16 de problemas las habilidades que acaban de adquirir. 5. Integración: el aprendizaje se promueve cuando los estudiantes reflexionan, discuten y defienden sus habilidades recién adquiridas. Los alumnos tienen oportunidades para reflexionar sobre lo que han aprendido, revisar, sintetizar o modificar sus nuevas habilidades y demostrar su nuevo conocimiento o habilidades con compañeros y otras personas. 6. El conocimiento colectivo: el aprendizaje se promueve cuando los estudiantes contribuyen al conocimiento colectivo. 7. Colaboración: el aprendizaje se promueve cuando los estudiantes colaboran con los demás. 8. Diferenciación: el aprendizaje se promueve cuando los estudiantes se instruyen a trevés diferentes vías de aprendizaje, de acuerdo con su necesidad. 9. Recursos reales: se promueve el aprendizaje cuando los recursos se han extraído de entornos del mundo real. 10. Retroalimentoación: se promueve el aprendizaje cuando los estudiantes reciben la retroalimentación de expertos sobre su desempeño. Martín, González, y García (2013) en la Guía Afortic para la evaluación de acciones formativas basadas en tecnologías de la información y la comunicación, utilizan un instrumento base que puede ser empleado para la evaluación de los MOOCs. Este modelo se fundamenta en las iniciativas de acreditación y evaluación que se siguen en España, por lo que considera cinco dimensiones para sus indicadores, las cuales son (ver figura 2): 

Planificación de la acción formativa: indicadores de la acción formativa, mostrando al estudiante información del proceso de formación



Programa de la acción formativa: aspectos relacionados con la estructura y desarrollo el curso, por ejemplo, duración, objetivos y contenidos



Recursos de la acción formativa: recursos humanos y técnicos que se requieren para el desarrollo del curso



Desarrollo de la acción formativa: metodología y evaluación del curso



Calidad de los resultados: análisis que se realiza al finalizar la acción formativa, para evaluar la calidad del curso a través de los resultados

17 Figura 2 Modelo de evaluación de AFORTIC

Desarrollo

Programa

Recursos

Calidad de Resultados

Planificación

Fuente Martín, González, y García (2013)

La propuesta de Guerrero (2015), UMUMOOC de la Universidad de Murcia, establece tres dimensiones y sus indicadores de calidad pedágogíca, las dimensionas que abarca son: 

Planificación/gestión: incluye aspectos de administración, gestión, acreditación y certificación relacionados con el aprendizaje. Los indicadores de esta dimensión establecen información acerca de la duración, cronograma, herramientas de comunicación asincrónica, acreditaciones y certificaciones.



Diseño/aprendizaje: incluye aspectos del diseño instruccional, contenidos, recursos, actividades y evaluaciones.



Comunicación/interacción: incluye aspectos de la comunicación y tutorías, los indicadores

establecen

si

se

fomenta

la

comunicación

y

se

promueve

la

retroalimentación (ver tabla 1). Tabla 1 Propuesta de dimensiones e indicadores UMUC INDICADORES CALIDAD PEDÁGOGICA MOOC Dimensión 1: Planificación/ Gestión Subfactor 1. Administración/

Indicadores Contiene información sobre Duración, Cronograma, Nivel de Contenidos, Difusión, Condiciones particulares del curso.

ADECUACIÓN

COMENTARIOS

18 Gestión

Dispone de mecanismos que faciliten la orientación y el apoyo dentro del proceso de aprendizaje. Dispone de herramientas de comunicación asíncrona.

Subfactor 2. Acreditación/ Certificación

Dimensión 2: Diseño Aprendizaje

Establece diferentes tipos de reconocimiento o acreditaciones/certificaciones: medallas, insignias, credenciales, certificados. Conduce a modelos de acreditación innovadores, flexibles y adaptados a las necesidades y exigencias laborales. Indicadores

Contiene una Guía didáctica. Las metas y objetivos de aprendizaje están definidos. Subfactor 1. Diseño didácticoinstruccional

Los contenidos responden a los objetivos planteados. La evaluación es coherente con la metodología planteada. Cuenta con una bibliografía bien seleccionada. Se define y es adecuada la carga de trabajo que supone para el estudiante. Existen distintos tipos y niveles de contenidos en función de los estudiantes: conocimientos previos, características, condiciones, capacidades, idioma…

Subfactor 2. contenidos

Subfactor 3. Recursos y actividades

Integridad, calidad de los contenidos: hipertextualidad, multimedia e interactivida (si los contenidos se presentan de forma hipertextual, si favorecen la interactividad,…). Se utiliza algún criterio o métodos para secuenciar contenidos. Calidad de los materiales audiovisuales: locución, estilo, lenguaje, variedad, aspectos visuales y dinámicos. Se utilizan recursos didácticos variados (multimedia, interactivos, abiertos,…) relacionados con los distintos itinerarios de aprendizaje. Las actividades resulta atractivas e innovadoras, incluyen material adicional como esquemas, resúmenes y síntesis. Las actividades permiten la organización flexible del tiempo de estudio al estudiante.

Subfactor 4.

Existen diferentes modalidades y tipos de actividades: de refuerzo o recursos de apoyo o ampliación (contar con materiales obligatorios y otros opcionales que refuercen las lecciones o contenidos); individuales o colectivas. Contemplan pruebas de evaluación parciales, de cada módulo y globales, o se incluye comprobación de la progresión del alumno.

19 Evaluación

Se incluyen diferentes actividades de evaluación: autoevaluación, evaluación por pares, cuestionarios, test, rúbricas, problemas,.. Se incorporan nuevas modalidades de evaluación, evaluación centrada en el aprendizaje, evaluación auténtica, evaluación formativo,…

Dimensión 3: ComunicaciónInteracción Subfactor 1. Comunicación

Indicadores Se fomenta la participación en foros y discusiones, el trabajo colaborativo e intercambio de información utilizando diversas herramientas de comunicación como correo electrónico, foro, chat,… Tienen un dinamizador o “content curators”. Se promueve el feedback, la facilitación.

Subfactor 2. Tutorías

Se motiva a los estudiantes a comunicarse con el docente invitándole a compartir ideas y conocimientos. Se promueven las funciones de acompañamiento.

Fuente: Guerrero, C. (2015). A partir de Alemán et. al, 2015; baldomero et al., 2015; Raposo-Rivas et al., 2015; Roig et al., 2014; Martín et al., 2013; Conole, 2013; Vázquez-Cano, 2013; Ardila-Rodríguez, 2011.

La estandarización de cursos virtuales también puede aplicarse en la evaluación de cursos MOOC, tal y como lo muestra la propuesta de Ramírez (2015), en donde utiliza la certificación AENOR con la norma UNE 66181, en los cursos de la Universidad Pablo de Olavide de Sevilla, España. La UNE 66181:2012 Gestión de la Calidad de la Formación Virtual, es una norma que pretende servir como guía para identificar las características de las acciones formativas virtuales, de forma que los usuarios puedan seleccionar los cursos que mejor se adapten a sus expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus alumnos.

20 Tabla 2 Adaptación de la norma UNE 66181:2012 a indicadores de valoración del subfactor “entorno tecnológico-digital de aprendizaje” de la dimensión de “metodología de aprendizaje”

Subfactor de satisfacción

Niveles Inicial

Básico 2.4. Entorno tecnológico-digital de aprendizaje

Bueno

Dimensión 2: Metodología de aprendizaje Indicadores Se dispone de información sobre los requisitos hardware y software que debe tener el equipo del alumno/a.

Sí

No

Sí

No

Sí

No

Sí

No

Sí

No

Sí

No

Sí

No

Permite o tiene repositorios para el intercambio de archivos digitales entre sus miembros.

Sí

No

Permite o tiene foros de discusión y atención al estudiante (formales e informales).

Sí

No

Al menos se dispone de alguna herramienta de comunicación asíncrona que permite la interacción entre los participantes. Existe un entorno tecnológico-digital de aprendizaje que integra contenido y comunicación. Incorpora una sección de Preguntas Frecuentes (FAQ) y/o Ayuda.

Muy bueno

Permite o tiene mecanismos o componentes que facilitan la orientación de los alumnos dentro del entorno y proceso de aprendizaje (mapas de navegación, mecanismos de búsqueda sencilla o por etiquetas, opción de volver atrás o deshacer, interfaz usable, etc.). Permite gestionar grupos de alumnos y tareas con registros de acceso e informes. Permite o tiene posibilidad de reanudar el proceso de aprendizaje donde se dejó la sesión anterior (persistencia).

Subfactor de satisfacción

Niveles Excelente

Valoración

Dimensión 2: Metodología de aprendizaje Indicadores

Valoración

Permite o tiene indicadores visuales de progreso de aprendizaje.

Sí

No

Permite la gestión y reutilización de buenas prácticas en profesores y alumnos.

Sí

No

Permite uso de formatos de presentación diferentes en función de características y estilos de aprendizaje.

Sí

No

Sí

No

Permite o tiene tecnología colaborativa o de participación activa (RSS, wiki, blog, redes, sociales…).

Fuente: Ramírez. (2015).La valoración de un MOOC: una perspectiva de calidad.

21 En la tabla 2 se valoran los indicadores de la siguiente forma: 

Inicial



Básico



Bueno



Muy bueno



Excelente

Ramírez (2015), explica que un nivel de calidad “Muy bueno” no tendría que conllevar todos los indicadores de los niveles “Inicial”, “Básico” y “Bueno”. Así pues, un curso con un nivel de calidad “Muy bueno” podría distinguirse de otros cursos con el mismo nivel de calidad si contemplara algún indicador del nivel “Excelente” (sin llegar a serlo), y por tanto, poseer un mayor valor añadido e incremental cuantitativa en la calidad del curso ofertado con respecto a los demás cursos valorados con el mismo nivel de calidad cualitativa. En esta misma propuesta de la adaptación de la norma UNE 66181:2012, Ramírez y Salmerón (2015), realizan un análisis de la calidad a través de la herramienta Edutool Edutool, es una herramienta de marca registrada en la Oficina Española de Patentes y Marcas (número de expediente en vigor: 3.087.298), tiene la siguiente estructura dimensional: La dimensión del reconocimiento de la formación para la empleabilidad consta de 6 ítems La dimensión de la metodología de aprendizaje contiene 43 ítems distribuidos en 4 subfactores: el diseño didáctico-instruccional (11), los recursos formativos y actividades de aprendizaje (10), la tutoría (9) y el entorno tecnológico-digital de aprendizaje (13) La dimensión de los niveles de accesibilidad contiene 21 ítems distribuidos en 3 subfactores: la accesibilidad hardware (7), la accesibilidad software (7) y la accesibilidad web (7).

22 Roig, Mengual, y Suárez, (2014) en el artículo Evaluación de la calidad pedagógica de los MOOC, utilizan un cuestionario como herramienta de evaluación de la calidad de cursos virtuales, validada por Arias (2007). Dicha herramienta se compone de 36 ítems distribuidos en 10 dimensiones distintas; a excepción de la primera dimensión, las nueve restantes contenían ítems expresados en una escala Likert de 5 puntos (1 = nunca; 2 = casi nunca, 3 = a veces, 4 = casi siempre, 5 = siempre): 

Guía didáctica: 4 ítems dicotómicos (sí/no) mide la claridad de las pretensiones del curso, objetivos y actividades de refuerzo



Metodología: 4 ítems que mide la adecuación de los contenidos a los objetivos, la coherencia metodológica y la coherencia de las actividades de refuerzo



Organización de los contenidos: 3 ítems que valoran la estructura de los contenidos.



Calidad de los contenidos: 7 ítems evaluadores del grado de adecuación de los conocimientos que se explican dentro del curso.



Recursos didácticos: 4 ítems alusivos a la versatilidad del curso para enseñar el contenido de formas distintas.



Capacidad de motivación: 1 ítem evaluador del grado de motivación del curso.



Elementos multimedia: 7 ítems alusivos a la calidad multimedia y gráfica del curso y 
sus recursos.



Estilo del lenguaje: 2 ítems que analizan la sintaxis y semántica de los contenidos.



Discriminación y valores: 2 ítems alusivos a la adecuación de los contenidos a unas normas éticas y valores aceptados universalmente.



Singularidad del usuario: 2 ítems evaluadores del grado de adaptación del MOOC a las particularidades del estudiante.

Así como las instituciones desarrollan modelos y herramientas para evaluar la calidad de sus cursos, las plataformas de cursos MOOC también consideran la calidad a través serie de requerimientos que debe cumplir todos los cursos, estas se denominan listas de verificación de calidad (checklist). La tabla 3, muestra la lista de verificación (MOOC Development Checklist, MDC) que utiliza la Universidad Carlos III de Madrid para desarrollar cursos MOOC en edX. La lista contiene los criterios que utiliza edX para saber si el curso esta listo para ofrecerse en la plataforma. La primera parte establece los criterios que evalúan el anuncio e introducción del curso, estructura del curso, recursos educativos y actividades de evaluación, gestión del curso y participación del estudiante. La segunda parte abarca las recomendaciones adicionales acerca de recursos educativos y actividades de evaluación, donde se comprenden criterios que

23 requieren materiales adicionales descargables y que el curso incluya simulaciones, animaciones u otros recursos adicionales. Tabla 3 MOOC development checklist Parte I: REQUISITOS MÍNIMOS Anuncio del curso e introducción Vídeo de presentación del curso Explicación del funcionamiento del curso Orientación sobre el tiempo de dedicación semanal del estudiante Información sobre el equipo docente Requisitos necesarios para seguir el curso (si lo hay) Pre-test de autoevaluación previa Estructura del curso Programa y calendario de seguimientos claros Presentación de cada uno de los módulos Criterios de evaluación y calificación Objetivos de aprendizaje y resultados esperados Recursos educativos y actividades de evaluación Óptima calidad técnica de los vídeos Duración de los vídeos entre 3 y 10 minutos Contenidos: vídeos y ejercicios relacionados entre sí Material adicional: los recursos pueden ser obligatorios u opcionales Evaluación formativa: los ejercicios permiten comprobar la comprensión de los contenidos Evaluación sumativa: los ejercicios permiten calificar el grado de aprovechamiento Plazos de actividades de evaluación bien definidos Test de evaluación final Gestión del curso y participación del estudiante El equipo docente da la bienvenida a los estudiantes El equipo docente envía mensajes periódicamente a los estudiantes El equipo docente se despide de los estudiantes al finalizar el curso Foro: el equipo docente modera el foro y anima a los estudiantes a que lo utilicen como herramienta de comunicación y debate Definición de las directrices de funcionamiento del foro FAQ: se aclaran las dudad más frecuente (se responden las posibles dudas iniciales y se va ampliando con información adicional conforme avanza el curso)

Parte II: RECOMENDACIONES ADICIONALES Recursos educativos y actividades de evaluación Los materiales adicionales son descargables El curso incluye simulaciones, animaciones u otros recursos interactivos Gestión del curso y participación del estudiante Se anima a los estudiantes a que utilicen el foro para presentarse a sí mismos

24 Se utiliza la wiki de forma colaborativa entre los estudiantes El equipo docente dinamiza la wiki planteando preguntas y proponiendo actividades Los contenidos del curso siguen disponibles una vez ha finalizado Se encuesta a los estudiantes sobre sus expectativas y su satisfacción antes, durante y/o al finalizar el curso Fuente: Universidad Carlos III de Madrid: Expectativas de calidad en MOOC edX

La plataforma Udemy tambien utiliza una lista de criterios de calidad denominada “Udemy Quality Review Standards and Best Practices” para evaluar el curso, dicha lista está dividida en dos secciones de valoración: "Obligatorio" y "Recomendado" (ver tabla 4). Las mejoras obligatorias tendrán que considerarse para que el curso sea aprobado, mientras que las recomendadas son áreas que se han identificado como oportunidades potenciales para que el curso destaque. La lista contiene tres secciones: la primera es acerca del programa del curso, la segunda aborda cuestiones de producción y la tercera sección comprende requerimientos sobre la publicación del curso. Tabla 4 Udemy Quality Review Standars and Best Practices

Criterio Diferenciación del tema

Objetivos de aprendizaje

Enseñanza estructurada

Programa Explicación ¿Hay otros cursos en la misma área temática, nivel de dificultad o estilo de enseñanza? Si es así, considere un curso diferenciador, definiendo el tema, la audiencia y estilo de enseñanza. En la sección "Objetivos del curso" de su curso complete 'lo que los estudiantes aprenderán’; 'Público objetivo del curso'; Requisitos del curso '. - Esta sección no pueden dejarse en blanco.

Tipo de valoración Recomendado

Requerido

Destaque por qué el curso es valioso para el estudiante. Céntrese en las habilidades que los estudiantes obtendrán, no solo en los temas que van a aprender.

Requerido

No utilice términos genéricos, por ejemplo, el curso está destinado a "todas las personas".

Requerido

Establezca las expectativas correctas del curso explicando para quién es adecuado y para quien no.

Recomendado

Proporcione los detalles acerca de lo que los estudiantes necesitan saber antes de empezar.

Recomendado

Cada curso debe tener una clase introductoria que explique todo lo que los estudiantes obtendrán del curso y les guíe a través del currículum

Requerido

Sumérjase en los profundo del contenido del curso desde la primera sección, eso aporta valor de forma inmediata. ¡Cuanto antes, mejor!

Recomendado

25

Actividades prácticas

Cada sección debe proyectarse a una de las metas del curso y dedicarse a una habilidad específica.

Recomendado

Cada clase debe apegarse a un solo concepto.

Recomendado

En cada sección del curso, incluya una actividad de aprendizaje (cuestionario, ejercicio, o proyecto) para ayudar a los estudiantes a aplicar lo que han aprendido en esa sección.

Recomendado

Proporcione todos los recursos necesarios para cada ejercicio práctico, tales como, hojas de cálculo, código fuente, archivos de prácticas, etc.

Recomendado

Producción Criterio

Explicación

Tipo de valoración

Formatos de clase

Las videoconferencias deben durar entre 2 y 20 minutos (excepto para temas específicos como el yoga, las sesiones de codificación con instructor o la meditación que requieran sesiones más largas).

Requerido

Para las clases introductorias en video, utilice un primer plano del instructor, para fomentar el buen entendimiento y la confianza con los estudiantes.

Recomendado

Para las clases de naturaleza no técnica (aquellas en las que la competencia principal no depende de un ordenador, como codificación, edición fotográfica, edición musical, etc.), el 20% de la clase debe tener videos, que muestren un primer plano del instructor hablando. Para grabar la parte técnica de los cursos técnicos, utilice un programa de grabación de pantalla

Recomendado

El audio debe estar libre de ruidos que puedan distraer: ecos, zumbido de fondo, distorsión.

Requerido

El audio debe estar saliendo de ambos canales y estar sincronizado con el video.

Requerido

El video debe ser grabado en formato HD (720p mínimo) con una iluminación clara, con encuadre y cámara fija.

Requerido

Las diapositivas, grabaciones de pantalla u oros elementos visuales deben ser fáciles de leer (no deben estar pixelado o borroso).

Requerido

El 60% de las lecciones del curso debe contener videos.

Requerido

El instructor o el tema de la lección deben ser claramente visibles en la pantalla.

Requerido

Todo video debe estar en alta definición (HD).

Requerido

Cualquier transición debe estar limpia y estandarizada en todas las lecciones.

Recomendado

Exporte todos los vídeos en formato 16: 9.

Recomendado

Use textos lo suficientemente grandes para ser leídos fácilmente a través de múltiples dispositivos.

Recomendado

Audio

Video

Recomendado

26 Preparación del instructor

Video promocional

Criterio Biografía del instructor Precio

Elimine las muletillas ("eee" y "verdad") y cualquier error verbal, hable de manera directa.

Requerido

Demuestre emoción y entusiasmo por el tema. La cámara quita un poco de entusiasmo por lo que tendrá que dar el 110%, mientras se graban las lecciones. Pronuncie las palabras de manera clara y enfatice los puntos importantes Incluya un video promocional para aumentar la participación de los estudiantes. Utilice el vídeo para reflejar la experiencia del curso y proporcionar el contexto del tema, los objetivos del curso y el estilo de enseñanza.

Requerido

Publicación Explicación Utilice una biografía del instructor para mostrar su experiencia, información y credibilidad en el campo. Los cursos deben tener un precios de$5 e incrementos entre $ 20 y $50.

Requerido Recomendación Recomendación

Tipo Requerido

(Puede cambiar el precio del curso en cualquier momento; no obstante, solo puede cambiarlo una vez, de "gratuito" a "de pago". Si cambia su curso de "gratuito" a "de pago" y de nuevo a "gratuito" (o viceversa) una vez publicado, se deshabilitarán de forma permanente sus anuncios promocionales). Los precios del curso deben ser comparables con otros cursos de temas similares, cuerpo del contenido y el estilo de enseñanza.

Recomendación

Título / Subtitulo

El título del curso debe describir lo que abarca. El subtitulo de construir el título sin ser repetitivo

Requerido Requerido

Resumen del curso

Resuma el contenido del curso, cómo se enseña, lo que los estudiantes aprenderán, y los beneficios que tendrán. Optimice las ventas y utilice las recomendaciones de mejores prácticas. La imagen debe ser 16:9; 2048 x 1152 píxeles; en formato.jpg, .jpeg, .gif, .png, o .bmp. Debe seguir la guía para imágenes de Udemy. Proporcione una descripción detallada por escrito de lo que cubre cada clase. El 100% de las clases del curso se debe publicar. No se permiten cursos PLR o SPAM Los PLR son los cursos que se han adquiridos; cursos SPAM son los que no proporcionan ningún beneficio educativo.

Requerido

Imagen del curso Descripción de la clase Curso completado PLR

Requeridor Recomendación Requerido Requerido

Fuente: UDEMY: Udemy Quality Review Standards and Best Practices

27

7 CONCLUSIONES 

Al ser los MOOC una modalidad reciente de formación existen pocos estudios acerca de la evaluación de calidad, por lo que se han adoptado de modelos de la educación virtual. Las investigaciones encontradas coinciden que la calidad en MOOC incluye criterios que evalúan la metodología y aspectos técnicos de los cursos, al igual que el e-learning.



En general, las diversas propuestas para la evaluación de calidad de los cursos MOOC proponen los siguientes aspectos: administrativos y de gestión, relacionados a la planificació metodológicos, técnicos y recursos virtuales.



Cabe destacar que los modelos de Gea (2015); Martín, González, y García (2013), Guía Afortic; Guerrero (2015), de la UMUMOOC y la checklist de la Universidad Carlos III de Madrid y la lista de Udemy presentan en común los siguientes indicadores: Planificación/programa/introducción, diseño/estructura, recursos y evaluación.



Las Universidades tiene la convicción que para desarrollar MOOCs se debe tener el apoyo institucional, además de una planificación detallada y una estructura definida con antelacion para que el desarrollo del MOOC cumpla con un nivel alto calidad.



Los cursos MOOC, pueden adoptar estándares de calidad, como la norma UNE 66181:12, Gestión de la calidad de la Formación Virtual.



Con base en las propuestas presentadas es posible elaborar una lista de cotejo con los criterios para evaluar la calidad de los cursos MOOC en sus diferentes aspectos.



Es importante considerar algunos de los aspectos de calidad que incluyen las checklist de las plataformas que alojan cursos MOOCs, por ejemplo, los criterios que hacen referencia a los videos y su calidad técnica, así como las presentaciones e introducciones al inicio del curso.

28 

Cada institución evalúa sus cursos MOOCs de acuerdo con los parámetros que consideran relevantes en relación con la calidad pedagógica y técnica. Sin embargo, al ser los MOOCs una modalidad reciente, tienen el reto de seguir validando instrumentos de evaluación que permitan la mejora de calidad.



Actualmente ha surgido la iniciativa europea MOOQ para mejorar la calidad en donde participan los socios fundadores de: Open University de Holanda (OUNL) / expertos involucrados clave: Christian M. Stracke, Esther Moreno, Alessandra antonaci, Katerina Riviou Hellenic Open University (HOU), Grecia / expertos involucrados clave: Aquiles Kameas, Bill Vassiladis National Quality Infrastructure System (NQIS), Grecia / expertos involucrados clave: Cleo Sgouropoulou Universidade Aberta (UAB), Portugal / expertos involucrados clave: António Teixeira Ecole Normale Supérieure de Lyon (ENS), Francia / expertos involucrados clave: Gérard Vidal

29

8 REFERENCIAS AKADÉMIA. (2010). Los sistemas de aseguramiento de la calidad en la educación superior de América Latina. Recuperado de: http://www.revistaakademeia.cl/?p=32&page=2 Baldomero Ramírez-Fernández, M. (2015). La valoración de MOOC: Una perspectiva de calidad. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 171195. Recuperado de: http://dx.doi.org/10.5944/ried.18.2.13777 Campión R. (2006). Gestión de la Calidad en elearning. Recuperado de: http://educal.org/educal/images/docs/gestion_de_calidad_eLearning.pdf Cuenca, G., Arquero, A., Ramos, F., Cobo, S. (s/f). Análisis de características de los Cursos en Línea Masivos y Abiertos (MOOCs): propuesta de aplicación en escenarios de aprendizaje en el área de Documentación. I Congreso Virtual de Innovación Didáctica al Servicio del Docente y Profesional de Ciencias Documentales. Universidad Complutense de Madrid, España. Downes, S. (2013). The Quality of Massive Open Online Courses. Moncton, New Brunswick. Recuperado de http://mooc.efquel.org/files/2013/05/week2-The-quality-of-massive-openonline-courses-StephenDownes.pdf Edwards, V. (1991). El concepto de calidad de la educación. Unesco. Santiago de Chile. Recuperado de: http://unesdoc.unesco.org/images/0008/000884/088452SB.pdf EFQUEL. European Foundation for Quality http://mooc.efquel.org/the-mooc-quality-project/

in

e-learning.

Recuperado

de:

Gea, M. (2015). Informe MOOC y criterios de calidad. CRUE. TIC Comisión Sectorial de las Tecnología de la información y las Comunicaciones. Recuperado de: https://crueweb.sharepoint.com/TIC/Documents/InformeMOOC_CRUETIC_ver1%200.pdf Guerrero, C. (2015). UMUMOOC Una propuesta de indicadores de calidad pedagógica para la realización de cursos MOOC. Campus Virtuales, Vol. 4, num. 2, pp. 70-76. Recuperado de: www.revistacampusvirtuales.es Hayes, S. (2015). MOOCs and Quality: A review of the Recent Literature. QAA MOOCs Network. Recuperado de: https://hochschulforumdigitalisierung.de/sites/default/files/downloads/MOOCs-and-QualityLiterature-Review-15.pdf Hilera, J. y Hoya, R. (2010). Estándares de e-learning: Guía de consulta. Universidad de Alcalá Recuperado de: http://www.cc.uah.es/hilera/GuiaEstandares.pdf Hornung, V. y Mayringer, H. (2006). Lineamientos para la calidad del contenido educativo en línea y de su aplicación práctica. In Proceedings EDEN Conferencia 2006, Viena, Austria. Recuperado de: http://www.salzburgresearch.at/research/gfx/eden_2006.pdf

30 Ignacio Aguaded, I., y Medina-Salguero, R. (2015). Criterios de calidad para la valoración y gestión de MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 119-143. doi: http://dx.doi.org/10.5944/ried.18.2.13579. Lemaitre, M. Zenteo, M. (2012). Aseguramiento de la calidad en Iberoamérica. Educación superior informe 2012. Proyecto Alfa. Recuperado de: http://www.universia.net/nosotros/files/CINDA-2012-Informe-de-Educaci%C3%B3nSuperior.pdf Luján, S., y Pernías, P. (2013). Los MOOC: orígenes, historia y tipos. Centro de comunicación y Pedagogía. Recuperado de: https://www.centrocp.com/los-mooc-origenes-historia-y-tipos/ Martín, O., González, F., García, M. (2013). Propuesta de evaluación de la calidad de los MOOCs a partir de la Guía Afortic. Campus Virtuales, 01, II. Méndez, C. (2013). Diseño e implementación de cursos abiertos masivos en línea (MOOC): expectativas y consideraciones prácticas. Revista de educación a distancia. Recuperado de: http://www.redalyc.org/pdf/547/54729539004.pdf MOOQ for the Quality of MOOCs (2016). Recuperado de: http://mooc-quality.eu/ Read, T. y Covadonga, (2014). Toward a Quality Model for UNED MOOCs. Department of Computer Languages & Systems School of Computer Science, UNED, Madrid, Spain Roig, R., Mengual, S., y Suárez, C. (2014). Evaluación de la calidad pedagógica de los MOOC. Profesorado revista de curriculum y formación del profesorado. Vol 18, N.1 Romay, M., (s/f). Alternativas metodológicas para evaluar la calidad de programas en educación superios. Recuperado de: http://publicaciones.anuies.mx/acervo/revsup/res091/txt5.htm Udemy (2016). Recuperado de: http://udemy-images.s3.amazonaws.com/fb/email/2016/Feb_2016_Quality_Checklist.pdf Universidad Carlos III de Madrid, Expectativas de calidad de un MOOC en edX: MDC: MOOC Development Checklist. Recuperado de: http://portal.uc3m.es/portal/page/portal/UC3M_Digital/convocatoria_edX/ExpectativasCalid adMOOC_edX.pdf UNESCO y LLECE (2008). Reflexiones en torno a la evaluación de la calidad educativa en América Latina y el Caribe. Recuperado de: http://unesdoc.unesco.org/images/0017/001776/177648S.pdf UNESCO (2005). EFA Global Monitoring Report. UNESCO, Paris pp. 30-37 Recuperado de: http://www.unesco.org/education/gmr_download/chapter1.pdf UNESCO. (1998). La educación superior del siglo XXI: Visión y Acción. Recuperado de: http://www.unesco.org/education/educprog/wche/declaration_spa.htm

31

AGRADECIMIENTOS Este entregable ha sido cofinanciado por el programa Erasmus+ de la Unión Europea MOOCMaker (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP)