-1-

Evaluación y Aprendizaje de los SAC

Introducción En los módulos anteriores, hemos analizado los diferentes componentes de un Sistema de Aseguramiento de la Calidad de la Investigación (SAC). Vale ahora recordar la perspectiva general sobre los SAC, resumida en el Cuadro 1. Se observa que no solo es importante diseñar un sistema, sino ponerlo en práctica y, sobre todo, generar los mecanismos de constante aprendizaje y retroalimentación para la mejora continua de la organización. Asimismo, es importante identificar cómo se documentarán los procesos llevados a cabo para mejorar la calidad de la investigación, ya que es la manera más efectiva de asegurar la mejora y el aprendizaje continuos. Este módulo resume las posibles estrategias para generar la documentación apropiada, y presenta ideas para facilitar el aprendizaje continuo con los SAC. Cuadro 1. Módulo de SAC

Recursos

Proceso

Reflexión Definición de la investigación Documentación

Dimensiones de calidad

Sistema de aseguramiento de la calidad de la investigación

Implementación

Monitoreo y evaluación

Estructura

La historia de un sistema fallido Comencemos por un caso concreto de cómo pueden fallar los sistemas de revisión de calidad. Probablemente podamos identificar ejemplos o riesgos similares dentro de nuestra organización. Los editores del British Journal of Clinical Pharmacology (Cohen et al, 2016) pasaron un embarazoso momento cuando recibieron una carta denotando la mala calidad de un artículo que publicó esa revista académica. Los errores eran tan reveladores que, al ver la carta, los editores no supieron cómo ocurrió tal error. Un análisis minucioso del caso determinó que la revista académica había sido presa de -2-

un engaño, ya que los revisores pares que supuestamente analizaban el manuscrito, eran falsos. Durante el proceso, los editores de la revista no identificaron la falsedad de las revisiones y tampoco tomaron medidas al ver que las revisiones eran extremadamente superficiales. El análisis posterior relevó que los editores debieron notar que las revisiones eran de mala calidad o falsas por su superficialidad, y por su mala gramática y ortografía. Para un centro de investigación, quizás los procesos sean distintos, pero esta historia nos recuerda la importancia de tener un buen sistema en pie y que este funcione bien. Adicionalmente, si es que sucede un error, será importante que el centro pueda revisar el proceso y evaluar qué sucedió. Por ejemplo, los editores del British Journal of Clinical Pharmacology no hubiesen entendido bien lo que les ocurrió si no hubiesen tenido toda la documentación del proceso.

Monitoreo, evaluación y aprendizaje de los SAC Responsable del proceso y de la información La primera decisión importante es quién será responsable del proceso. Para los centros que cuentan con una coordinación académica o de investigación, esto es más claro. En otras estructuras, el proceso puede ser más descentralizado, con cada equipo o área llevando a cabo sus propias actividades. Sin embargo, es importante que exista un responsable, tanto de monitorear que se lleven adelante los procesos, como de que se documenten y se utilicen para ir mejorándolos. Documentación para el monitoreo Para poder aprender de los procesos de aseguramiento de la calidad, hace falta tener una apropiada documentación que permita evaluar el proceso después de su aplicación en varias investigaciones. Esto puede darse cada seis meses o cada año, dependiendo del volumen de producción de cada centro. Algunos de los documentos e información que es importante mantener para poder hacer una evaluación incluyen: 1. Registro de cumplimiento de las fases de procesos y fechas correspondientes Como hemos visto en los módulos anteriores, cada centro definirá diferentes procesos para el aseguramiento de la calidad, que pueden incluir seminarios internos, revisión por pares interna y externa, etc. Es importante que exista un registro de que estas actividades en efecto se lleven a cabo y en qué fechas. Esto permitirá, posteriormente, analizar si se cumple con los procesos y si se ha establecido suficiente tiempo para los mismos. Un modelo de este registro está disponible en el Anexo 1. En el registro también se pueden anotar todas las personas involucradas: revisores, participantes en los seminarios, etc. Con la información sobre los participantes podemos hacer una evaluación posterior sobre la diversidad (por ejemplo: de especialidades o de género) de los revisores. 2. Documentos de trabajo y sus versiones Se espera que la revisión por pares permita mejorar los documentos y, por tanto, deriven en varios cambios a los manuscritos, a lo largo del proceso de investigación. Para analizar si estos cambios se dan en la práctica, es importante guardar las diferentes versiones de los documentos. Dependiendo de los pasos de cada Sistema, estos pueden incluir: primera versión, versión después de la revisión interna, versión después de la revisión externa. 3. Documentos de revisiones Como hemos discutido anteriormente, es importante que haya guías relativamente estándar que los revisores pares pueden utilizar para dar sus comentarios y recomendaciones. Asimismo, puede haber un formato sencillo para sistematizar las recomendaciones de los seminarios internos. Para los revisores, las guías permiten responder a las diferentes dimensiones de calidad de cada centro, en vez de solo a las dimensiones que ellos considerarían si prepararan un informe sin formato. Para los coordinadores del proceso, esto les permite mantener documentación relativamente estándar y comparable entre sí para una evaluación posterior. Se deben mantener todas las revisiones recibidas para cada uno de los documentos.

-3-

Hacer una evaluación posterior de todas las revisiones realizadas, por ejemplo, a lo largo de un año, permitirá identificar patrones. Por ejemplo, evidenciar si consistentemente los evaluadores señalan problemas con las recomendaciones de política, o con el análisis de datos. Tener esa información a nivel organizacional permite diseñar estrategias de fortalecimiento de las capacidades acordes a las necesidades específicas de cada organización.

Estrategias para la Evaluación y el Aprendizaje Los sistemas de aseguramiento pueden traer aprendizajes y mejoras a diferentes niveles de la organización, desde el nivel personal de cada investigador, hasta el funcionamiento de la organización en su conjunto. En el diseño de los Sistemas de Aseguramiento de la Calidad (SAC), cada organización ajustará esto de acuerdo con sus estructuras y procesos existentes. Es importante que los SAC, en lo posible, se acoplen y vinculen con otros procesos de planificación y evaluación existentes. Además, dependiendo del tamaño y estructura, se podrían tomar diferentes elementos de los descritos en la Tabla 1. Un primer objetivo de los SAC es mejorar las capacidades personales de los investigadores. A través de las revisiones de pares y las presentaciones en seminarios, cada investigador recibe insumos de cómo mejorar sus productos de investigación. Dentro de estos comentarios también estarán recomendaciones que solo se aplican a ese documento en particular, mientras que otros harán referencias más amplias sobre las capacidades de los investigadores. Sin embargo, muchas veces los investigadores no reflexionan sobre cómo pueden mejorar sus procesos y capacidades como investigadores, más allá de esa investigación en particular. ¿Cómo puede promoverse esta reflexión a nivel individual? Una posible estrategia es usar los cuestionarios de autodiagnóstico discutidos anteriormente, no sólo en el proceso de preparar los documentos, sino también una vez que las publicaciones sean finalizadas. Adicionalmente, un componente de la calidad de investigación podría ser parte de cualquier proceso de evaluación individual que ya tenga cada centro. A nivel de cada equipo, la evaluación puede enfocarse en los procesos de investigación. Uno de los mayores retos de los centros de investigación es cumplir con los requerimientos de calidad y puntualidad. Cuando se lleva un registro de los procesos se puede evaluar el trabajo en equipo. Algunas preguntas útiles pueden ser: ¿Se incluyó suficiente tiempo en las diferentes etapas de aseguramiento de la calidad? ¿Funcionaron los mecanismos de coordinación y comunicación interna durante los procesos de investigación? ¿Se identificaron correctamente potenciales revisores para la investigación? ¿Fue la comunicación con ellos apropiada? ¿Se les dio suficiente tiempo para realizar la revisión? ¿Cómo se pueden mejorar los procesos internos para nuevos proyectos de investigación? Una de las herramientas que se puede realizar para esta evaluación es la reflexión después de la acción. Finalmente, a nivel institucional, es importante realizar una evaluación de los SAC y de la calidad de la investigación en general. Si es que, a lo largo del proceso se ha mantenido el registro de los procesos llevados a cabo, los centros tendrán información útil para hacer estas evaluaciones, que idealmente deberían ser parte de los procesos institucionales de evaluación y planificación. La evaluación institucional tiene dos partes: Primero, la evaluación del SAC como un proceso interno y, segundo, la evaluación de la calidad de la investigación, reflexionar si ha mejorado y qué dimensiones de calidad se deberían fortalecer. Aunque estás dos perspectivas se relacionan, no son lo mismo. Para verificar la calidad de la investigación del centro, se puede optar por evaluar cada año todos los productos de investigación que se han realizado durante uno o dos años. Es importante dar tiempo a las investigaciones, para conocer su posible impacto y tener opiniones externas sobre su calidad. Especialmente si dentro de nuestras dimensiones de calidad se encuentra la relevancia y la utilidad de nuestras investigaciones, se requiere tiempo para medir los resultados.

-4-

Una evaluación posterior de las investigaciones realizadas por el centro dará una mirada más global sobre la agenda de investigación institucional, y si se pueden mantener en el tiempo, mostrarán si los procesos de aseguramiento de la calidad promueven mejoras sistemáticas. Esta evaluación podrá ser realizada completamente por un externo, o podría ser coordinada por el área encargada de los SAC e incluir un proceso en el que diferentes actores participan en grupos focales o entrevistas. Una evaluación del proceso de los SAC es interna. Para esta, serán de gran utilidad los registros de todas las actividades llevadas a cabo. Se podría añadir una pequeña encuesta a los investigadores, cuando finalicen su trabajo, para conocer sus percepciones y experiencia con los SAC. Un ejemplo está disponible en el Anexo 2. Esta encuesta, junto con toda la información registrada a lo largo del año puede permitir responder a preguntas como: ¿Ha sido el SAC adoptado exitosamente por todos los equipos de la organización? ¿Es ágil el proceso adoptado? ¿Es clara la documentación del proceso? ¿Son apropiados los tiempos calculados para los procesos de aseguramiento de la calidad? ¿Se han identificado revisores adecuados para las investigaciones realizadas? ¿Los autores de las investigaciones consideran las revisiones útiles y pertinentes? ¿Los registros de los SAC son útiles y sencillos de mantener? ¿Han permitido los SAC detectar necesidades de desarrollo de capacidades y se ha podido responder a estas de manera estratégica? La Tabla 1 resume las opciones para evaluar los SAC en diferentes niveles institucionales.

Tabla 1. Posibilidades para la evaluación Nivel

Objetivos

Posibles métodos

Frecuencia sugerida

Personal

Cada investigador puede conocer las áreas del proceso de investigación que debe fortalecer.

Rehacer el autodiagnóstico una vez que se ha terminado el proceso.

Al finalizar cada investigación.

También puede vincularse con evaluaciones personales existentes.

Anual o de acuerdo con los planes institucionales.

Equipo

Los equipos mejoran los procesos de investigación, incluyendo el aseguramiento de la calidad y cómo fortalecerlos.

Reflexión después de la acción, conjunta.

Al finalizar cada investigación y en la planificación anual.

Institucional

Complementar los procesos de evaluación y aprendizaje institucional con la perspectiva de la calidad de la investigación.

Encuestas a los autores sobre utilidad del proceso (Anexo 2)

Como parte de la evaluación y planificación anual de la organización.

Revisión sistemática de la documentación existente. Evaluación anual de los productos de investigación. (En el Anexo 3 se presentan, a manera de ejemplo, los indicadores de calidad de la investigación que utiliza ASIES).

-5-

Bibliografía Cohen, A., Pattanaik, S., Kumar, P., Bies, R. R., de Boer, A., Ferro, A., Gilchrist, A., Isbister, G. K., Ross, S., and Webb, A. J. (2016) Organised crime against the academic peer review system. Br J Clin Pharmacol, 81: 1012–1017. doi: 10.1111/bcp.12992.

Anexo 1. Registro del SAC de cada publicación Información útil para dar seguimiento a las publicaciones puede incluir

Datos importantes de la investigación: Título de la investigación Autor (es) Tipo de publicación Programa Proyecto

Hitos importantes

Fecha

Reunión de inicio Reunión de apoyo Seminario interno Revisión de pares Revisión por parte de investigadores Otras actividades

-6-

Observaciones

Anexo 2. Formulario para evaluación de los autores

P1. ¿Considera usted que el revisor/a de su documento conocía sobre el tema de su publicación? (marque con una X su respuesta) Medianamente Mucho Poco P2. ¿Considera que la revisión fue objetiva e imparcial? (marque con una X su respuesta) Sí No P3. ¿Los comentarios y observaciones recibidos fueron claros y comprensibles? (marque con una X su respuesta) No, en su totalidad Sí, en parte Sí, en su totalidad P4. ¿Acogió los comentarios y observaciones recibidas? (marque con una X su respuesta) No acogí ninguna observación No, solo un número pequeño y en forma general Sí, en parte Sí, en su totalidad P5. ¿Cómo evalúa el formulario de calificación de las publicaciones? (marque con una X su respuesta) Adecuado Existen aspectos por mejorar No es necesario, mejor hacer revisión en los propios documentos P6. Las observaciones y comentarios recibidos llegaron (marque con una X su respuesta): A tiempo Muy tarde Prematuramente

-7-

Anexo 3. Ejemplo de indicadores de calidad de la investigación

Asociación de Investigación y Estudios Sociales 1. Criterios. Para el desarrollo de los posibles indicadores de calidad de la investigación se han seguido los siguientes criterios: Garantizar un claro vínculo con el protocolo estandarizado para todo el proceso de la investigación (desde propuesta hasta publicación) Dado que no se recaba información cualitativa en el reporte mensual de monitoreo, se sugiere agregar indicadores de calidad en el reporte trimestral (aquellas mejoras que van surgiendo de la aplicación del protocolo) Los indicadores principales responderán a la nueva dimensión evaluativa, por lo cual se incluirán en el nuevo formato de informe anual Se aplican los indicadores a los siguientes tipos de formatos donde se presenta la investigación: papers, documentos de políticas, boletines... 2. Indicadores de monitoreo. Si bien el foco para medir la calidad de la investigación será la evaluación interna anual de ASIES, se propone aprovechar la instancia de monitoreo para ir recabando información relevante para los indicadores anuales. Mejoras realizadas en los últimos tres meses como respuesta a problemas detectados en la aplicación del protocolo a cualquier instancia del proceso de investigación. Ejemplos: se reforzó la triangulación de datos de un estudio 3. Indicadores de evaluación. Estos indicadores se presentarán de manera anual, y responden a ejes diferentes pero complementarios en cuanto a los aspectos que contribuyen con la calidad de la investigación de un think tank.

Eje de evaluación Investigaciones

Proceso de calidad

Desarrollo de capacidades para la calidad

Indicadores posibles 1. Nivel de progreso de cada departamento (¿o investigador?) en cuanto a la calificación obtenida en cada etapa del protocolo estandarizado 2. Calificación promedio de las investigaciones sujetas a la revisión de pares 3. Cantidad de investigaciones sujetas a revisión de pares 4. Cantidad de citas en journals académicos 5. Cantidad de investigaciones políticamente oportunas 6. Cantidad de menciones positivas/uso de la investigación por parte de actores relevantes 7. Cantidad de proyectos de investigación alineados con los objetivos/agenda estratégica de cada departamento 1. Cantidad de investigaciones sobre las que se aplicó enteramente el protocolo estandarizado 2. Cantidad de mejoras realizadas como respuesta a problemas detectados por la aplicación del protocolo 3. Cantidad y calidad de los procesos de revisión de pares 4. Cantidad y tipo de mecanismos formales para asegurar la relevancia política de la investigación (acercamientos a autoridades de gobierno, reuniones con asesores claves, etc.) 1. Cantidad de capacitaciones formales brindadas sobre temas vinculados con la calidad de la investigación 2. Cantidad y perfil de colaboradores que han participado en dichas actividades

-8-