-1-

Editor

Asociación de Investigación y Estudios Sociales – 2017 PBX 2201-6300 www.asies.org.gt, [email protected] Ciudad de Guatemala, Guatemala, C.A.

Autora

Andrea Ordónez

Directora de Investigación M&E&A Guisela Mayén

Grupo Editorial

Ana Lucía Blas Liliana López Pineda Guisela Mayén Ana María de Specher

Diagramación

Alejandra Taracena

Impresión

Centro de Impresiones Gráficas - CIMGRA-

Íconos gráficos: Freepik

La elaboración y publicación de este documento se realizó con una subvención del Centro Internacional de Investigaciones para el Desarrollo (IDRC, Canadá), bajo la Iniciativa Think Tank, www.idrc.ca/thinktank. Las opiniones expresadas en esta publicación no necesariamente reflejan los puntos de vista de IDRC o su Consejo de Gobernadores, ni de la Iniciativa Think Tank (TTI).

-2-

-3-

¿Cómo vamos a desarrollar sistemas de aseguramiento de la calidad - SAC?

Esencia del ejercicio Aunque el título “Sistema de aseguramiento de la calidad” (SAC) pueda indicar que este es un programa sobre procesos y procedimientos, en realidad va más allá. La experiencia de un grupo de centros de investigación de la Iniciativa Think Tank (TTI) que se enfocó en desarrollar la calidad de su investigación, evidencia que la cultura organizacional es tan importante como los sistemas formales (TTI 2015). Una cultura que promueve la reflexión, la discusión sobre el trabajo que se realiza y el aprendizaje continuo impacta en la calidad de la investigación de los centros. Este módulo brindará el apoyo necesario a los centros para que estos cuenten con SAC al final del mismo. Además, en el proceso los centros también contarán con herramientas para generar los espacios para la reflexión personal e institucional como un mecanismo para continuamente mejorar. El objetivo del módulo no es simplemente la adopción de SAC como parte de la burocracia interna del centro sino como una serie de actividades y herramientas que apoyen a los investigadores a cumplir con parámetros de calidad y mejorar continuamente su trabajo. Otra de las características de este módulo, es que existen oportunidades para aprendizaje entre pares. Los sistemas de aseguramiento de la calidad no son recetas impuestas desde fuera. Son procesos adaptados a las necesidades y características organizacionales. Por eso, además de contar con los insumos generales preparados por los facilitadores del curso, habrá la oportunidad de aprender de primera mano sobre cómo organizan el trabajo de investigación otros centros.

Cronograma y estructura general El proceso del módulo contiene, a breves rasgos, cuatro etapas: Preparación intensiva de cada centro – Las primeras 10 semanas del módulo serán virtuales. En estas semanas, el foro en la

plataforma en línea y los webinars brindarán a los centros una variedad de recursos para reflexionar sobre los aspectos más importantes de un SAC para cada centro. Consolidación de documentación inicial para un Sistemas de Aseguramiento de la Calidad – Durante el taller presencial, los participantes podrán trabajar en desarrollar su SAC. Al final del taller, los centros contarán con una documentación básica que puedan usar para implementar el SAC. Implementación – Durante los siguientes meses, las instituciones podrán implementar los SAC, con la asistencia del equipo facilitador. El apoyo consistirá en un seguimiento, y la facilitación de documentación y recomendaciones relacionadas con la calidad de la investigación y los SAC. Aprendizaje y mejoramiento – En la finalización del módulo, cada centro, y los participantes en conjunto tendrán un espacio para reflexionar sobre el proceso de implementación de los SAC durante el período de prueba, para ajustar y mejorar los mismos en base a estas lecciones.

En cuanto al contenido, el módulo incluye una variedad de recursos alrededor de las tres temáticas para la diseñar los SAC: • La definición de la investigación y la diferenciación de la misma respecto al resto de actividades de los centros de investigación. • La discusión sobre las dimensiones de calidad de la investigación que los SAC pueden incluir. • Elementos relacionados a cómo estructurar y organizar los SAC de una manera que estos sean eficientes, efectivos y equitativos.

-4-

Recursos

Proceso

Reflección Definición de la investigación Documentación

Sistema de aseguramiento de la calidad de la investigación

Dimensiones de Calidad

Implementación

Monitoreo y evaluación

Estructura

Cuadro 1. Módulo de SAC

Estratégias para aprovechar al máximo el módulo Algunas recomendaciones para la participación en el módulo Foros – A lo largo del curso, estarán disponibles diferentes foros para la discusión de los temas. Participar activamente es una forma de aclarar las ideas que tenemos y también de compartir nuestra experiencia y conocimiento con otros. Es recomendable mantener las discusiones organizadas en los diferentes temas, para facilitar que todos los participantes sigan la discusión. Webinars – Cada dos semanas se organizaran webinars que permitirán, en el transcurso de una hora cubrir temas que complementan el material compartido en el curso. Si es que alguien no puede participar, se grabarán los webinar y estarán disponibles posteriormente. Actividades previas al taller presencial – Al terminar cada tema, se compartirán actividades que los centros pueden realizar. Estas actividades pueden ser realizadas por todos los investigadores del centro, o un grupo de investigadores, dependiendo de la manera de trabajar de cada centro. Las actividades brindarán insumos para el taller presencial. Taller presencial – Una de las limitaciones que tienen los centros, es el limitado tiempo que tienen para desarrollar procesos internos como los SAC. Es por esto que, el taller presencial en abril se enfocará en espacios interactivos para poner los conocimientos y discusiones previas en un documento concreto que sistematice un SAC para cada institución. La mejor forma de aprovechar estos dos días será tener insumos de las actividades previas. Biblioteca – En la plataforma del curso también está disponible una biblioteca de recursos donde se puede encontrar toda la bibliografía utilizada para la documentación así como otro material que puede ser de utilidad en el módulo. Los centros participantes realizan investigación con enfoques y disciplinas distintas, por lo que no se entrará en detalle en aspectos específicos de metodologías específicas. La biblioteca tiene insumos que pueden servir para diferentes tipos de investigación. De ser necesario, se irán incluyendo otras referencias en esta biblioteca.

-5-

-6-

La naturaleza y el trabajo de los Think Tanks Objetivos Introducir marcos conceptuales para analizar cuál es el trabajo que realiza cada centro y guiar una reflexión interna sobre cómo diferenciar la investigación de la amplia gama de actividades que realiza cada centro. Proponer mecanismos para facilitar un diálogo al interior de cada centro sobre las características de la investigación que se realiza.

Clarificar el trabajo de los centros de investigación Es difícil – sino imposible – establecer qué es lo que un think tank hace de manera prescriptiva y es improductivo establecer un modelo para un sistema de aseguramiento de la calidad universal. Pero sin duda, que cada centro tenga una claridad sobre el trabajo que realiza es esencial. Muchas veces, entender el trabajo que realiza un centro de investigaciones se queda en la generalidad, inclusive al interior de cada centro. Como resultado, los investigadores trabajan bajo sus propios supuestos, sobre lo que es la investigación y cómo medir su calidad. Esto también resulta en que a veces se intente evaluar a todo el trabajo de la misma manera. ¿Cuáles son algunas reacciones comunes al tratar de definir el trabajo de los centros? Una primera reacción es argumentar que el trabajo de los think-tanks es demasiado complejo para ser descrito con los parámetros usuales de la ciencia. Sin embargo, científicos que trabajan en áreas trans-disciplinarias también enfrentar este dilema y están avanzando formas de conceptualizar la investigación más allá de la aplicación de métodos específicos de cada disciplina. Otra reacción es argüir que el trabajo de los centros está entre la ciencia y la política, y por tanto tiene características que lo diferencia del de otras instituciones como las universidades. En esta lógica, los parámetros de análisis de la calidad usuales no aplican. Independientemente de estas posiciones, la mayoría de centros busca, de una u otra forma, expresar que su investigación es de alta calidad o excelencia. Por ejemplo, RAND (2015) y el Institute of Development Studies (2016) presentan documentos en los que argumentan cómo definen la calidad y la excelencia de su trabajo. Por supuesto, los centros de políticas públicas realizan una variedad de actividades y por esto es importante diferenciar las actividades de la investigación de otras actividades que realiza como generar espacios de discusión, promover opiniones y posiciones de política o trabajo de periodismo y comunicación. Pese a que estas actividades pueden estar ligadas entre sí, delimitar el ámbito de un sistema de calidad de la investigación es bueno para s implementación en la práctica.

Dos marcos conceptuales para entender el trabajo de los think tanks En este documento se presentan dos marcos conceptuales que pueden ser de gran utilidad a la hora de pensar qué tipo de trabajo realiza un think tank.

Trabajo de política (policy work) Una forma de analizar el trabajo de los think tanks es en el contexto de informar o aconsejar en políticas públicas (policy work). Varios actores en el ámbito de las políticas públicas trabajan en la intersección entre el análisis y la acción, entre ellos analistas al interior del gobierno, centros de investigación independiente, etc. El hexágono de las políticas públicas desarrollado por autores de Austria y Nueva Zelanda (Scott and Baehler 2012) , nos brinda una forma concreta de pensar el tipo de trabajo que se realiza cuando se actúa en el ámbito de la política pública. Ellos consideran dos dimensiones: i) si el trabajo es de corto o largo plazo y ii) si el trabajo tiene un enfoque amplio o específico. Con estas dimensiones, identifican seis tipos de roles y funciones en el trabajo de políticas públicas. 1. Explorar el entorno – Son las actividades para entender tendencias y pronosticar el futuro 2. Co-producción de políticas – Deliberación pública en la generación de políticas 3. Evaluación – Análisis concreto de programas y políticas: monitoreo, análisis sistemático de la literatura, evaluación de programas y proyectos 4. Análisis para la implementación y el diseño – conocimiento que facilita la implementación de las políticas en la práctica 5. Responder al contexto de política – anticipar riesgos y oportunidades; comunicar efectivamente las políticas 6. Opciones de política – identificar problemas y probar propuestas de política -7-

¿Cómo definir el trabajo de política pública?

LARGO PLAZO FUTURO

CO-PRODUCCION DE POLÍTICAS - Conversaciones estratégicas - Diálogos abiertos - Deliberación EXPLORAR democrática ENTORNO EVALUACIÓN - Inclusión de actores - Moniteo a diálogos po- Análisis sistemático líticos - Pronosticar futuro de literatura - Identificar patrones - Nueva investigación de cambios socio-políticos - Evaluación de programas - Dar dirección / políticas para nuevas políticas - Explorar problemas y oportunidades - Buscar ideas innovadoras - Análisis ex-ante de opciones de política OPCIONES DE POLÍTICA

- Adaptar ideas a contexto local - Hacer que los programas funcionen - Encontrar y manejar riesgos o trabas ANÁLISIS PARA - Alertar de posibles

problemas - Respoder a nuevas políticas o sus cambios - Apoyar con argumentos a actores políticos

IMPLEMENTACIÓN Y DISEÑO

RESPONDER AL CONTEXTO

CORTO PLAZO PRESENTE AMPLIO

DETALLADO

Basado en: Scott, Claudia, and Karen Baehler. 2012. Adding Value to Policy Analysis and Advice. Sydney: UNSW Press.

Una mirada a las actividades en el trabajo de política, evidencia que no todo el trabajo es investigación como tal. Algunas de estas actividades pueden basarse en trabajo de investigación o pueden tomar algunas de las técnicas que se realizan para investigar. Por ejemplo, para responder a una coyuntura de política, el centro puede presentar una posición basada en la investigación. En este caso la actividad está relacionada con la investigación y con la experiencia del centro, pero no es como tal un proceso de investigación. Así mismo, un centro puede realizar actividades que se utilizan también como métodos de investigación como entrevistas o grupos focales para buscar nuevas ideas a un problema existente. En este caso, pese a que las técnicas parecen similares, el objetivo final es obtener nuevas ideas de los participantes, no responder a preguntas de investigación. Entonces, ¿cómo se pueden definir las actividades de investigación de un centro? Responder a esta pregunta es esencial para determinar el ámbito de acción del SAC.

Definición de las actividades de investigación Dentro de la amplia variedad de actividades que puede realizar un centro, es importante determinar cuáles de ellas son actividades de investigación. Asimismo, cada disciplina en las ciencias sociales busca generar sus propios principios, implícitos o explícitos de lo que es la ciencia. Dado que cada vez existe más colaboración entre disciplinas, y entre investigadores y otros actores sociales, una definición más genérica podría ser de utilidad. Mårtensson et al. (2016) han trabajado en generar esta definición referencial para poder crear un marco que analice la calidad de la misma. Su definición es la siguiente: “Investigar es una acción consciente, con el objetivo de tener nuevo conocimiento sobre una o varias preguntas, estudia uno o varios contextos, construye a partir de conocimiento existente, usa uno o varios métodos científicos, se documenta de acuerdo a un procedimiento descrito, requiere transparencia y se relaciona a uno o varios sistemas de reglas.” (p. 598) ‘Research is a Conscious Action that aims for New Knowledge, emanates from one or several Questions at Hand, studies one or several Contexts, builds upon Existing Knowledge, uses one or several Scientific Methods, is documented in one Described Procedure, requires Transparency and relates to one or several Systems of Rules’. -8-

Aunque su definición puede parecer un poco rudimentaria, su utilidad radica en que se puede claramente determinar sus partes. La siguiente tabla desagrega el concepto de investigación en sus subcomponentes y los define.

Tabla 1 Término

Definición

Acción consiente

Un proceso iniciado o realizado activamente por un actor.

Nuevo consiente

Conocimiento que expande el conocimiento existe, es comprobable y útil para un grupo de beneficiaros.

Preguntas

Preguntas de investigación como base para el proceso.

Contextos

El ambiente o especio intelectual donde la investigación se realiza y donde el conocimiento existe es apropiado.

Conocimiento existente

Conocimiento previo que la investigación expande, que existe en el contexto de la investigación y que puede ser citado .

Método Científico

Una técnica precisa y claramente descrita usada para realizar la investigación.

Procedimiento descrito

Procesos establecidos de cómo realizar y documentar, de acuerdo a un sistema de reglas; puede variar en diferentes contextos.

Transparencia

Una clara descripción de lo qu se realiza en la investigación.

Sistema de Reglas

Requerimiento legales, regulaciones, normas y otras guías que influyen como la investigación se lleva a cabo.

Con esta definición los autores nos proponen una definición genérica de la investigación que se podría aplicar a varias disciplinas y metodologías. Y en el caso de este curso, nos servirá para identificar el trabajo de investigación de los think tanks.

En la práctica Ya que el objetivo de este módulo es generar un sistema de aseguramiento de la calidad de la investigación, la primera tarea es tener una claridad de lo que vamos a considerar dentro de las actividades de investigación. A continuación se detallan un conjunto de actividades que los investigadores en los centros pueden realizar para tener claridad sobre su trabajo. Estas actividades buscan promover una reflexión al interior de cada organización. Cuestionario en línea – Está disponible un cuestionario en línea que puede ser ajustado para recopilar opiniones y percepciones de los miembros del staff, basado en la literatura previa. Este cuestionario puede ser ajustado e implementado en cada centro. Un análisis de las respuestas puede dar pistas a las siguientes preguntas: • ¿Comparte el staff una visión relativamente uniforme de lo que es el trabajo del centro? • ¿Existe un alineamiento entre el trabajo personal y el de la institución? Después de que este cuestionario sea llenado, se puede tener una discusión sobre los resultados con el resto de investigadores. Material para sesiones de trabajo – Una vez que conocemos las opiniones del staff, y como buenos investigadores, se pueden realizar una evaluación de las publicaciones o proyectos de investigación directamente. El material propuesto para estas sesiones de trabajo incluyen,

-9-

Mapa para identificar actividades – En base al hexágono de políticas públicas adjunto, se puede hacer un ejercicio para mapear los proyectos, o los documentos de investigación. Este mapeo servirá para tener una visión objetiva del trabajo que realiza el centro y determinar, posteriormente, cuáles son las dimensiones de calidad más importantes para cada centro. Este análisis también se puede comparar con las opiniones del cuestionario anterior. Check-list de los componentes de lo que es la investigación – Otro recurso que se comparte en un check-list para evaluar los documentos producidos por los centros e identificar los diferentes componentes de una investigación identificados por Mårtensson et al. (2016). Sistematización – Es recomendable tener una sistematización de este proceso, para poder compartirlo con otros, y también para poder evaluar el proceso de implementación de los SAC.

Bibliografía Institute of Development Studies. 2016. Engaged Excellence. Vol. 47. IDS Bulletin 6. www.bulletin.ids.ac.uk. Mårtensson, Pär, Uno Fors, Sven-Bertil Wallin, Udo Zander, and Gunnar H Nilsson. 2016. “Evaluating Research: A Multidisciplinary Approach to Assessing Research Practice and Quality.” Research Policy 45 (3): 593–603. doi:10.1016/j.respol.2015.11.009. RAND. 2015. “Standards for High-Quality Research and Analysis.” Santa Monica. http://www.rand.org/standards/standards_high. html. Scott, Claudia, and Karen Baehler. 2012. Adding Value to Policy Analysis and Advice. Sydney: UNSW Press.

Análisis de Productos Término Preguntas

Definición

Análisis

¿Son las preguntas de investigación explícitas?

Contextos

¿Se define claramente el contexto de la investigación? Contexto puede significar: - Lugar y tiempo (ejemplo, un país en un período concreto) - Espacio intelectual - Debate de política

Conocimiento existente

¿Se hace referencia a conocimiento previo existente?

Nuevo conocimiento

¿Se comunica cuál es el aporte de la investigación? ¿Se hace referencia a otro conocimiento del tema?

Método Científico

¿Está expuesta una técnica precisa usada para realizar la investigación? ¿Se evidencia el método también en los resultados y el análisis?

Procedimiento descrito

Transparencia

¿Queda claro cómo el proceso de investigación conecta las preguntas, métodos y resultados? ¿Expone el documento las fuentes de información utilizada? ¿Transmite el documento posibles limitaciones al análisis presentado?

Sistema de Reglas

¿Comunica el documento que la investigación ha seguido regulaciones y normas necesarias?

- 10 -

- 11 -

La naturaleza y el trabajo de los Think Tanks Objetivos • Presentar un modelo general y consideraciones específicas de la definición de la calidad de la investigación. • Diferenciar la calidad de la investigación con los conceptos de la excelencia y el impacto. • Proponer mecanismos para facilitar un diálogo al interior de cada centro sobre las dimensiones prioritarias de la calidad de la investigación.



Dimensiones de calidad La definición de la calidad de la investigación es un tema de debate académico y político amplio. Por lo que identificar un estándar único es difícil, aunque una guía que tenga un carácter más universal es deseable. Una forma interesante que Mårtensson et al. (2016) han utilizado es partir de la definición de investigación referencial que ya fue introducida en el módulo anterior. Con una definición en firme de lo que constituye la investigación (frente a otras actividades como el periodismo), se identifican dimensiones para caracterizar la calidad de la investigación. Una de las ventajas de este modelo es que, parte específicamente de la definición genérica de investigación y busca ser aplicable a varios contextos. En este resumen de las cuatro características de la calidad de la investigación propuestas por Mårtensson et al. (2016) también se incluyen aspectos específicos que pueden ser de particular importancia para think tanks y que hacen referencia a otra documentación suplementaria, toda resumida en el final del módulo. Adicionalmente la figura que acompaña el texto desagrega las cuatro dimensiones principales y subcategorías. Así, el resumen presentado incluye las subcategorías iniciales de Mårtensson et al. (2016) y unas adicionales de otras fuentes.

Credibilidad ¿Se puede confiar en esta investigación? Como establecía la definición general, si es que la investigación busca generar nuevo conocimiento, al evaluarla preguntaremos si es que lo que presenta es confiable. En esta dimensión se encuentran las siguientes subcategorías: Rigurosidad – Esta es quizás la dimensión más explícita en discusiones de calidad de la investigación, y se refiere en gran parte a la aplicación apropiada de métodos científicos a la pregunta y al contexto del estudio. Es interesante notar, que en el contexto de trabajo transdisciplinario, la rigurosidad puede también referirse a una efectiva colaboración entre diferentes ciencias. En la etapa de diseño, evaluar la rigurosidad del plan también incluye la factibilidad del estudio propuesto. Consistencia – Se refiere a la lógica interna de la investigación, y en general alude a que las diferentes partes de la investigación coincidan entre sí. La consistencia conceptual se refieren a que los conceptos sean claros, y sean utilizados de manera consistente en el estudio. Coherencia – Se la analiza en relación al contexto y al conocimiento previo. En un estudio coherente, la relación de la investigación con su contexto es claro. Así también la relación con el conocimiento previo: se muestra que conocimiento se profundiza o cómo se incrementa el conocimiento previo; si lo contradice, queda clara con qué conocimiento se contradice y analiza razones para esta posible contradicción. Transparencia – Se refiere a la claridad con la que un documento incluye aspectos como, los supuestos de los que parte, los procesos de la investigación y declara las limitaciones y posibles sesgos del estudio. Queda claro cómo se han llegado a las conclusiones a partir del análisis realizado. Puede ser relevante incluir las intenciones del investigador, la audiencia y el objetivo de la misma.

Contribución ¿Contribuye esta investigación a mi conocimiento o entendimiento del tema? La investigación debe dejar claro cómo contribuye, y no repite lo que otros ya han hecho. Vale la pena destacar que en la replicación de estudios que buscan confirmar los resultados, se puede establecer que la confirmación es la contribución. - 12 -

Original – El estudio se diferencia claramente del conocimiento previo, al presentar una nueva idea, un nuevo proceso o un nuevo resultado. Relevante – Se refiere a la relación de la investigación con problemas sociales o ambientales y la vigencia del tema. Para ciertas disciplinas, la aplicabilidad de la investigación puede ser relevante. En el caso de los centros de investigación en políticas públicas, la calidad de las recomendaciones pueden ser una dimensión crítica. También puede ser necesario identificar los usuarios para los cuáles la investigación es relevante. Generalizable – En algunos casos la capacidad de generalizar los hallazgos a contextos, o poblaciones más allá de las del estudio puede ser importante. Capacidades – Dentro de los proyectos transdisciplinarios, el objetivo puede también relacionarse a las nuevas capacidades desarrolladas, tanto entre equipos de investigación como entre otros actores que no sean investigadores.

Comunicabilidad ¿Puedo acceder, leer y entender esta investigación? Se refiere a los esfuerzos realizados para que la investigación llegue a su audiencia. Consumible – La investigación debe dejar en claro su argumento central. Está estructurado de tal manera que las diferentes partes siguen un orden lógico que permite entender el argumento. Los productos están escritos de una manera entendible e interesante. Accesible – Se refiere a que los documentos producidos de la investigación tengan un tono y lenguaje apropiado para la(s) audiencia(s) del mismo. Facilidad para encontrarlo y seguir su contenido –El documento puede ser encontrado por la audiencia a la que está dirigido y su contenido también está estructurado de tal manera que la lectura del mismo es sencilla. Participación de otros – Para ciertos proyectos, la participación de otros actores es importante durante el proceso de la investigación y no solamente posterior a él.

Conformidad ¿Está la investigación alineada con las regulaciones que le aplican, la ética y la sustentabilidad? • Conforme a las regulaciones – De acuerdo a cada área de investigación, existen diferentes regulaciones que deben ser seguidas. El centro también podría determinar si existen regulaciones internas que aplicarán a todas las investigaciones. • Ética – Hace referencia al comportamiento ético durante la investigación (existe un componente explícito de ética que será tratado independientemente). • Sustentable – Hace referencia a si la investigación sigue principios del desarrollo sustentable de acuerdo a la temática del estudio. El Cuadro 1 resume las diferentes dimensiones y sub-dimensiones de la calidad, basadas en cuatro fuentes bibliográficas. Los colores hacen referencia a cuáles temas son considerados específicamente por cada autor. Este cuadro no significa que todas las sub-dimesiones deban ser adoptadas por todos los centros. Más bien, presenta una variedad de perspectivas de cómo estas se pueden entender en diferentes disciplinas y tipos de investigación.

Entre la calidad y la excelencia Hasta este momento, toda la discusión se ha enfocado en la calidad de la investigación, aunque muchas veces se discute la excelencia. De hecho, Mendez (2012) sugiere que en la mayoría de casos estas categorías se usan indistintamente. Moore et al. (2017) en cambio tienen una perspectiva más crítica y consideran que la “retórica de la excelencia” no es útil para las ciencias y que en cambio puede tener un efecto contraproducente. Los argumentos son que el concepto de la excelencia es vacío, y que por tanto no promueve las prácticas necesarias para realizar buena investigación.

- 13 -

¿Cómo se puede diferenciar el concepto de calidad de la excelencia? Una forma de diferenciar los conceptos es que la calidad es intrínseca a cada investigación mientras que la excelencia se realiza en comparación a otras investigaciones. Las dimensiones que se han presentado hasta el momento dentro de la “calidad de la investigación” son evaluadas sin comparar. Para analizar la dimensión de contribución se requiere conocer el contexto, y el resto de la literatura, pero no hay comparación explícita. La originalidad de una investigación se determina en comparación al resto de conocimiento; sin embargo no se califica a un documento más original que otro explícitamente. Así, la excelencia podría decirse que no puede ser evaluada ex ante, sino ex post. Otra forma de entender la excelencia es la que propone RAND, al establecer características que hacen que cierta investigación puede ser particularmente buena, o excelente. En esta visión, no todos los procesos de investigación resultan ser excelentes. Ellos determinan tres parámetros: • Innovación – hace referencia a la posibilidad de introducir nuevos conceptos o prácticas que rompen con el estatus quo. • Legado – es la relevancia de la investigación en el largo plazo. • Exhaustividad – son los estudios que son comprensivos, integradores de una variedad de conocimiento. Martensson et. al Rand Fossey et. al. Belcher et. al.

Factible Validez internal Confiabilidad

Rigurosidad

Datos e información de calidad Conocimiento de otros estudios

Contextual Credibilidad

Apropiado Adecuado

Consistencia

Colaboración efetiva

Coherencia

Supuestos explícitos Declaración de limitaciones

Transparencia

Declaración de posibles sesgos Registro previo

Calidad de investigación

Originalidad

Idea Proceso Resultado

Contribución

Idea relevante Relevancia

Relación con problema social o ambiental

Aplicabilidad de los resultados Idea actual

Resultados transferibles

Recomendaciones e implicaciones Generalizable Desarrollo de Capacidades

Comunicabilidad

Argumento claro

Estructurado

Consumible

Entendible

Accesible Se puede buscar

Lógicas / guiadas por los resultados Explicación detallada Salvedades explícitas

Legible

Durante y después de la investigación Tono y lenguage adecuado

Participación de otros Alineamiento con regulaciones

Objetivo Independiente

Moralmente justificable Ética Conformidad

Open Igualdad de oportunidades Autenticidad

Sustentable Capacidades adecuadas de equipo

- 14 -

Inclusión explícita y genuina

Material adicional El objetivo de este documento ha sido la introducción de las dimensiones más importante de la calidad de investigación, pero no puede incluir en sí el amplio debate de estas dimensiones. Para profundizar en aspectos específicos de cada dimensión, la siguiente tabla resume los principales documentos que pueden ser analizados. Tabla 1. Descripción de material de apoyo

Mårtensson et al. (2016)

Fossey et al. (2002)

Mendez (2012)

Belcher et al. (2016)

• Modelo referencia de qué es a investigación. • Modelo genérico de calidad. • Muestra a grandes razgos la mayoría de dimensiones pero no analiza en mucho detalle cada una. • Enfoque en investigación cualitativa. • Comparación de paradigmas: empírico analítico, interpretativo y crítico. • Tabla explícita con criterios y preguntas específicas. • Revisión de la literatura realizado para a oficina de evaluación del IDRC. • Propuesta de criterios en base al proceso de la investigación, desde el diseño hasta el reporte de la investigación. • Incluye temas desde las dimensiones de la calidad hasta los procesos para realizar la investigación. • Se enfoca en la evaluación de investigación transdisciplinaria, con un enfoque en la sustentabilidad. • Incluye Matriz de criterios, definiciones y escalas con enfoque en investigación transdiciplinaria. • Detalle en dimensiones de acción, colaboración y capacidades.

RAND (2015)

• Parámetros desarrollados específicamente para un think tank. • Diferencia la calidad de la excelencia.

Institute of Development Studies (2016)

• Sistematiza el marco referencial de la institución que es denominado “Engagement Excellence”. • Enfoque en la participación y la colaboración en la investigación.

Ofir et al. (2016)

• Sistema RQ+ utilizado por el IDRC •Tiene un enfoque global, en el que se analizan no solo productos de investigación sino proyectos de manera más amplia

En la práctica • Consensuar una definición de calidad de la investigación – Basados en el marco general de dimensiones de la calidad de la investigación, se llegará a un consenso sobre un modelo que puede ser aplicable para cada centro. Esta actividad puede realizarse de manera personal primero y posteriormente tener una actividad grupal. Se puede diferenciar entre las dimensiones que son cruciales o críticas, y las que son deseables pero que se puede ir desarrollando paulatinamente. En la discusión se puede recopilar más detalle de lo que los diferentes investigadores entienden por cada dimensión y subdmensión. El producto final debe ser un breve documento que incluya la definición de calidad, y las dimensiones y sub-dimensiones con las que cada centro trabajará su sistemas de aseguramiento de la calidad.

- 15 -

Bibliografía Belcher, Brian M., Katherine E. Rasmussen, Matthew R. Kemshaw, and Deborah A. Zornes. 2016. “Defining and Assessing Research Quality in a Transdisciplinary Context.” Research Evaluation 25 (1): 1–17. doi:10.1093/reseval/rvv025. Fossey, Ellie, Carol Harvey, Fiona McDermott, and Larry Davidson. 2002. “Understanding and Evaluating Qualitative Research.” Australian and New Zealand Journal of Psychiatry 36 (6): 717–732. Institute of Development Studies. 2016. Engaged Excellence. Vol. 47. IDS Bulletin 6. www.bulletin.ids.ac.uk. Mårtensson, Pär, Uno Fors, Sven-Bertil Wallin, Udo Zander, and Gunnar H Nilsson. 2016. “Evaluating Research: A Multidisciplinary Approach to Assessing Research Practice and Quality.” Research Policy 45 (3): 593–603. doi:10.1016/j.respol.2015.11.009. Mendez, Esther. 2012. “Evaluating Research Excellence: Main Debates.” Moore, Samuel, Cameron Neylon, Martin Paul Eve, Daniel Paul O’Donnell, and Damian Pattinson. 2017. “‘Excellence R Us’: University Research and the Fetishisation of Excellence.” Palgrave Communications 3 (January). doi:10.1057/palcomms.2016.105. Ofir, Zenda, Thomas Schwandt, Colleen Duggan, and Robert McLean. 2016. “Research Quality Plus: A Holistic Approach to Assessing Research Practice and Quality.” IDRC. RAND. 2015. “Standards for High-Quality Research and Analysis.” Santa Monica. http://www.rand.org/standards/standards_high. html.

- 16 -

- 17 -

Estructura de los Sistemas de Aseguramiento de la Calidad Objetivos • Identificar mecanismos para internalizar el aseguramiento de la calidad en los procesos de investigación institucionales. • Mapear las instancias en las que se puede realizar procesos de aseguramiento de la calidad. • Facilitar un proceso para integrar todas las piezas de un SAC: dimensiones de calidad, etapas del proceso de investigación y estrategias de aseguramiento de la calidad.

Niveles Cuando hablamos de la calidad de la investigación, esta puede hacer referencia a diferentes niveles, y es importante tener la claridad de cómo cada institución organiza su trabajo. La calidad se puede medir en productos o documentos específicos, o puede medirse a nivel de cada investigador o institución. 1. Propuestas de investigación Usualmente organizaciones que financian investigación cuentan con un rol importante en revisar propuestas de investigación y determinar si cumplen con los requisitos para recibir financiamiento. Los organismos de financiamiento pueden o no tener revisiones en otros momentos de la investigación a través de la revisión de reportes u otra documentación. Las propuestas pueden tener formatos pre-establecidos, o de formato libre. Estas podrían ser evaluadas de acuerdo a los parámetros de calidad expuestos anteriormente. 2. Productos de investigación Los productos de la investigación son usualmente los que son revisados para determinar la calidad del proceso de investigación. Es por esto que los documentos académicos usualmente resumen las diferentes partes del proceso y no simplemente los hallazgos o resultados. Sin conocer el proceso de la investigación, es difícil determinar su calidad. En el contexto de los think-tanks es importante considerar cuáles son los productos que serán evaluados, y cómo estos transmiten al evaluador el proceso de investigación en su conjunto. Además, para los usuarios finales, será importante considerar cómo pueden acceder a esta información si acceden a productos parciales de la investigación: resúmenes ejecutivos, infografías, etc. 3. Investigador o grupo de Investigación En algunos casos, se busca medir la calidad del trabajo de un investigador o grupo de investigadores. Este no es el enfoque de este módulo; sin embargo, vale recalcar que si los centros cuentan con sistemas de evaluación para el personal puede ser de utilidad considerar cómo el SAC se relaciona con estos, y como no duplicar esfuerzos. 4. Institución Así mismo, se podría evaluar la calidad a nivel institucional. Aunque este no es el enfoque del curso, centros que tengan sistemas de monitoreo y evaluación institucionales deben considerar cómo compaginarlos y no duplicar esfuerzos. La discusión de los SAC se enfocará principalmente en la evaluación de las propuestas y de los documentos específicos de investigación. Pero este proceso no puede realizarse de manera aislado y debe acoplarse a los otros procesos de monitoreo y evaluación que la institución pueda tener para evitar la duplicación de esfuerzos. El enfoque en los productos de investigación se debe a que, al final del día, son estos lo que son públicos y son la carta de presentación de las capacidades de investigación de la institución. Asegurar la calidad de los productos de investigación es un aspecto clave para alcanzar otros objetivos de la institución de impacto en la sociedad.

- 18 -

Productos de Investigación y Comunicación Tener una claridad de los tipos de productos que realiza un centro es esencial. A la interna, permite organizar el trabajo y los SAC para que se ajusten a las necesidades de cada producto. Mientras que un proyecto de investigación puede requerir una revisión más profunda, un análisis coyuntural, quizás puede requerir menos revisión. Algunos de los tipos de productos que usualmente producen los centros son: • Libros o Capítulos de libros – estos pueden ser editados por los centros o ser parte de ediciones externas. • Documentos de Trabajo – Suelen ser los documentos tradicionales de investigación. • Revistas – Pueden ser editados por los centros y contar con un proceso editorial propio para seleccionar artículos internos o de colaboradores externos. • Documentos de política (Policy Briefs) – Suelen se documentos enfocados en promover políticas e ideas concretas. • Informes / Monografías – Alguno centros realizan documentos que son distintos a los documentos de trabajo. En este caso es importante entender cuál es su función y como se diferencian de los documentos de trabajo. • Bases de Datos – Los datos en su totalidad pueden ser productos de investigación que se dan al público. Además de estos, los centros pueden producir contenido comunicacional adicional como blogs, boletín de noticias electrónico, editoriales, documentos de opinión, infografías y presentaciones. Estos documentos requerirán mayor o menor atención dependiendo del origen de los mismos. Si estos productos se basan en investigación que ya ha sido revisada, pueden requerir menos atención que si no lo son. Etapas de la Investigación Él éxito de un sistema de aseguramiento de la calidad radica en que pueda apoyar a los investigadores en mejorar la calidad de su trabajo, y por eso no puede ser pensado solamente como una evaluación ex – post, sino como un proceso de acompañamiento. Se podrían diseñar componente que acompañen las diferentes etapas, dependiendo de cómo organice el trabajo cada institución y las instancias ya existentes para la organización del trabajo. Aquí detallamos todas las posibilidades. 1. Propuesta de investigación Esta es la etapa previa a la investigación, donde se establece en general lo que se hará. Los centros pueden ya contar con sistemas de revisión propios de las propuestas de investigación y gestión de las mismas. En algunos casos, estas propuestas pueden ser revisadas por donantes, o ser partes de concursos de investigación. Esta fase es de gran importancia porque una propuesta bien planteada tiene muchas mayores posibilidades de éxito. Se deberá identificar cuáles son los aspectos críticos que deben quedar claros en esta etapa del proceso. Por ejemplo, la factibilidad de la propuesta, y las capacidades de los equipos de investigación. Aquí también puede ser importante identificar cómo contribuye la investigación al contexto (de conocimiento o de politica). 2. Diseño de la investigación Esta es la etapa en la que se determina todo lo que se necesita hacer en la investigación y sienta las bases del trabajo. Algunas de las actividades en esta etapa pueden incluir: • Identificar fuentes de información • Determinar procesos de análisis que se van a seguir • Diseñar instrumentos para recolección de información • Diseñar muestras, seleccionar casos, identificar indicadores/ variables • Distribuir el trabajo entre el equipo de investigación y cómo se coordinará internamente • Identificación y selección de casos de estudio En esta etapa también pueden enfatizarse algunas dimensiones de la calidad, especialmente las relacionadas con la credibilidad y conformidad. 3. Recolección y organización de Datos Dependiendo del tipo de investigación que se realice, esta etapa de la investigación puede incluir trabajo de campo, visitas, entrevistas, otras investigaciones, etc. En esta etapa también se realiza la organización y sistematización de los datos recopilados de una manera organizada. En el caso de investigación basada en información secundaria, incluye la limpieza y el alistamiento de los datos para ser analizados. En esta etapa, la rigurosidad del proceso de investigación es clave para garantizar que tengamos resultados confiables.

- 19 -

4. Interpretación y Análisis Esta fase de la investigación es crítica, y muestra la capacidad de los grupos de investigación de convertir a información que han recolectado y organizado en conocimiento. Para esto, los investigadores deben analizar e interpretar la data (cuantitativa o cualitativa) a la luz del contexto académico o de política en el que están trabajando. Esta es la etapa de la investigación donde el enfoque está en la contribución de la investigación: ¿qué hemos aprendido de este trabajo? ¿Cómo estos resultados concuerdan o divergen de la investigación previa del tema? ¿Cómo se relaciona con las posiciones de política actuales? En esta etapa, las dimensiones de contribución, así como la coherencia y consistencia de la investigación pueden ser de mayor importancia. 5. Finalización de la documentación En esta etapa se juntan todas las piezas del proceso de investigación para producir los documentos que comunicarán la investigación. Si las fases anteriores han sido realizadas exitosamente, pero no se puede comunicarlos apropiadamente, los lectores no podrán saber sobre la calidad del proceso de investigación. Esta documentación de la investigación debe ser clara y tener un claro argumento. 6. Publicación y difusión Una vez que se realiza la publicación del documento, es difícil dar marcha atrás, y la evaluación del documento está en manos de quienes lean o hagan uso del mismo. Además, en esta etapa se pueden realizar otras actividades de incidencia. Sin embargo, en la mayoría de casos, no se podrían hacer cambios a los contenidos de los documentos sin que esto requiera una rectificación. La evaluación sobre el uso y el impacto de la investigación finalizada es un tema que usualmente se analiza dentro de los procesos de Monitoreo y Evaluación de los centros. 7. Políticas y reglas Existen ciertas dimensiones de la calidad de la investigación que puedan requerir de cambios o ajusten a la institución, y a su estructura. Especialmente los aspectos de conformidad, pueden requerir que se desarrollen políticas y reglas que superan los procesos de investigación.

Estrategias Aunque quizás la asociación más común con los Sistemas de Aseguramiento de la Calidad (SAC) es la revisión de pares, las estrategias para promover la calidad han ido creciendo y diversificándose en diferentes áreas de investigación. Aquí se resumen algunas de estas estrategias. 1. Pre-registro (Especialmente útil para rigurosidad, transparencia y conformidad) Ciertos investigadores han promovido iniciativas para el registro previo de investigaciones. El registro incluye un detalle del diseño de la investigación. En muchos casos, este registro no se hace público hasta que la investigación haya avanzado significativamente, o haya terminado. Estos registros buscan limitar la duplicación de esfuerzos y – sobretodo – evitar que los investigadores manipulen las preguntas de investigación o métodos para tener resultados significativos. Esto busca evitar el sesgo por resultados positivos existente actualmente en las revistas académicas. Aquí se agrupan algunos registros que pueden ser de utilidad: • EGAP – Esta red de investigación permite registrar estudios de experimentales u observacionales en temas de gobernanza y política. • RIDIE – La plataforma de 3ie permite registrar estudios que analizan el impacto de proyectos de desarrollo. • AEA – Esta página de la Asociación Economista Americana permite el registro de ensayos controlados (RCTs). Otra estrategia que los centros podrían adoptar es una política similar haciendo uso de sus canales de comunicación, y hacer públicos un resumen de lo que busca hacer la investigación, y no solo los productos finales. 2. Auto-evaluación (Especialmente útil para credibilidad y contribución) Al final del día, la calidad de la investigación está ligada a las capacidades y dedicación del investigador. Si bien el entorno social e institucional juega un rol importante, es el investigador o el equipo de investigadores quienes realizan la investigación. En este contexto, promover estrategias de autoevaluación (con herramientas como guías, checklists, etc.) puede tener un alto impacto en el trabajo de los investigadores. Sin embargo, para su éxito es esencial trabajar en su usabilidad y una cultura institucional que los promueva. - 20 -

3. Seminarios y talleres de discusión (Especialmente útil para contribución, comunicabilidad) Una práctica común en centros de investigación y universidades son los seminarios y talleres que buscan discutir a fondo las investigaciones. El reto es estructurar seminarios exitosos, con reglas claras puede tener un impacto importante en mejorar la calidad de las investigaciones. 4. Revisión de Pares (Puede servir para evaluar todas las dimensiones) La revisión de pares, es decir, el análisis de los documentos de investigación escrita por otros investigadores fuera del equipo de investigación es el método más común para la revisión de los documentos. La última lectura de la serie se enfoca en este tema, por lo que no entraremos en detalle en esta sección. 5. Publicación Abierta de Datos (Especialmente útil para la credibilidad y conformidad) Una estrategia que es cada vez más utilizada es publicar de los datos de las investigaciones así como todos los códigos de programación utilizadas para su análisis en paquetes estadísticos como STATA o R. Esta estrategia transparenta el proceso de investigación para que otros puedan reproducir los resultados de investigación de cada equipo de investigación: Center for Global Development (inglés) – Ha desarrollado una política de datos abiertos, que determina que tanto las bases de datos, como los códigos de análisis (Stata, R, etc) estén disponibles. Aquí un ejemplo de la implementación en la práctica. Oxfam (español) – Cuenta con una política de publicación de datos que está disponible para uso de terceros.

En la práctica Ha llegado el momento de juntar todas las piezas expuestas hasta el momento. Preparar una lista del tipo de productos que produce el centro. Y reflexionar sobre las siguientes preguntas: ¿Tenemos claridad de qué es cada tipo de producto y las diferencias entre sí? ¿Comunicamos cómo se diferencian los tipos de productos? ¿Necesitan todos los tipos de productos el mismo nivel de revisión? Vinculación entre dimensiones y etapas de la investigación. Con la matriz adjunta podemos decidir, cuáles dimensiones de calidad son prioritarias en cuál fase de la investigación y qué estrategia podemos usar en cada caso. Etapas y Dimensiones de Calidad Dimensiones

Propuesta & Idea de Investigación

Diseño de la Investigación

Recolección de Datos

- 21 -

Interpretación y Análisis

Finalizar documentos/ otros productos

Publicar y Difundir

Políticas o Reglas

- 22 -

Revisión de pares y retroalimentación Objetivos • Resumir las principales características y limitaciones de los procesos de revisión de pares, basados en la literatura existe del tema. • Presentar una visión general de los posibles participantes en los SAC.

Visión general Finalmente, hemos llegado a las decisiones más concretas sobre los SAC. En esta lectura tocaremos tres temas, el primer es la revisión de pares como una de las herramientas de los SAC. Esta es una de las estrategias más populares. El segundo tema, son los participantes de los SAC.

La revisión de pares Los sistemas de revisión de pares son una de las piezas claves de funcionamiento de los sistemas académicos, pero no son perfectos y por eso deben ser tratados como una pieza de los SAC, y no como la herramienta que puede solucionar todos los problemas y que pueda garantizar que no existan errores. Por ejemplo Struyk (2015) cuenta la historia concreta de cómo errores no fueron detectados por los sistemas de revisión de pares. Así mismo, los editores del British Journal of Clinical Pharmacology resumen cómo sus sistemas de control de calidad no pudieron identificar que hubo un proceso intencional de manipular su sistema de revisión (Cohen et al. 2016). Este ejemplo es de gran utilidad porque muestra varios de los posibles errores de quienes gestionan los sistemas de aseguramiento de la calidad. También, se evidencia que si bien los revisores pueden dar un insumo importante, son los editores (o en este caso la institución) la responsable final de la calidad de sus productos. Estos son dos casos que muestran las limitaciones extremas de las revisiones de pares. Además, es importante notar, que los sistemas de revisión de pares no siempre apoyan a mejorar la calidad de la investigación, debido a algunas de las siguientes posibles razones en cuanto a las revisiones recibidas: Las revisiones pueden ser extremadamente superficiales. Los centros deben estar preparados para afrontar la situación en la que la revisión no aporta nada nuevo, en cuyo caso otros revisores quizás deben ser contactados para tener opiniones adicionales. Las revisiones no se vinculan con el tipo de producto. Como hemos dicho, en los procesos académicos los investigadores están acostumbrados a tener un estándar de lo que es un artículo científico. Sin embargo, los centros de investigación cuentan con diferentes productos, incluyendo los documentos de política. Si, por ejemplo un revisor analiza un documento de política como si este fuese un documento de investigación, sus recomendaciones podrían ser una completa reformulación del mismo. Las revisiones son muy generales o muy específicas. No todos los expertos temáticos son, necesariamente buenos revisores. En algunos casos, las revisiones pueden ser muy generales, y aunque sugieran que algunos aspectos deben ser mejorados, dan pocas luces de cómo mejorar el documento. Otras veces, la cantidad de revisiones es tan excesiva, que los autores no saben por dónde comenzar, y cuáles cometarios con cruciales y cuáles son sugerencias menos críticas. Como hemos visto, aunque el proceso de revisión de pares es el más común, no es in sistema infalible. Además, la revisión de pares tiene poco impacto en la calidad si es que los investigadores no tienen el tiempo y la disposición para incorporar las revisiones en sus documentos.

Participantes Una decisión importante será quien participa en los SAC, para lograr un mecanismo que sea eficiente, y a la vez justo con la carga y distribución de trabajo. Así, por ejemplo, una institución en la que la Dirección Ejecutiva debe revisar todos los documentos puede retrasar sustancialmente la publicación de documentos. Además, un sistema así puede comunicar una falta de confianza en el resto del equipo para detectar problemas de calidad. Si bien esta es una estrategia común de los centros en sus inicios, eventualmente tendrán que crear un sistema más descentralizado. Sin embargo, el descentralizar el control de calidad, sin acuerdos mínimos entre los investigadores puede generar una alta variabilidad de la calidad en el centro. Aquí consideramos algunos aspectos sobre los diferentes participantes. - 23 -

Internos El primer grupo a considerarse para los SAC es el equipo interno de cada centro. Es importante a la hora de diseñar los SAC, considerar la estructura institucional. ¿Se organizan de una manera centralizada o con mayor independencia? ¿Existen ya instancias o equipos específicos que pueden llevar adelante algunas de las actividades de aseguramiento de la calidad? Además de la estructura, si deseamos que los investigadores dentro de la organización tengan un rol en la revisión de documentos a través de talleres o revisiones de pares, será importante tomar en cuenta los siguientes puntos: Jerarquía – A la hora de decidir quién revisa los documentos, es importante considerar la jerarquía institucional. Es usual que sean los investigadores principales de cada área, o los directores de área, de revisar por ejemplo el trabajo de investigadores más junior dentro de cada área. Sin embargo, en estos casos la jerarquía institucional puede presentar dificultades, si es que no existen otros espacios de discusión o revisión. Por ejemplo, si es que un investigador junior siente que la revisión de su trabajo no fue apropiada por su jefe, tiene puede no hacer esta insatisfacción pública. Si es que hay un desacuerdo sobre la revisión, también, puede ser que la posición jerárquica termine pesando más que la veracidad de la revisión. Por esto es importante recordar que el espíritu inicial de las revisiones de pares, es justamente la equidad o la igualdad entre el revisor y el autor del documento. Cuando las instancias de revisión solo consideran la revisión jerárquica, se pierde esta característica. Atoramiento de procesos – La decisión de quién participa en los SAC también debe mantener un criterio de eficiencia. Los centros deben evitar procesos demorados y tediosos que hagan que las investigaciones demoren de manera excesiva. Por esto, es importante considerar la carga laborar del staff, y qué tiempo de dedicación real pueden aportar a los SAC. Experiencia y capacidades – Quienes toman un rol en el proceso de revisión deben contar con las capacidades para dar una opinión informada sobre la investigación. Por ejemplo, si las áreas de investigación tienen temas de investigación demasiado diferentes entre sí, será difícil que puedan haber una revisión entre áreas. En cambio, si los equipos de investigación tienen capacidades y temáticas lo suficientemente similares, pueden ser revisores mutuos.

Externos Se pueden también optar por recibir los insumos de actores externos. Aquí es importante considerar diferentes grupos de personas que pueden participar: Expertos – El primer gran grupo de posibles revisores son expertos en el tema de investigación. Esto significará que los centros requieren tener los vínculos necesarios con expertos que puedan apoyar en esta actividad. Mientras que en los sistemas académicos la revisión del trabajo de otros es considerado como parte del trabajo de investigación. Será importante considerar qué tanto, los expertos de cada país están acostumbrados a participar en procesos de revisión, y también considerar expertos internacionales en casos excepcionales. Otros actores – A diferencia de los investigadores académicos, los centros de políticas públicas se pueden también beneficiar de la participación de otros actores del ámbito de las políticas públicas de interés. Especialmente en cuanto a la relevancia de la investigación, y en cuanto a poder situar en la realidad política las recomendaciones de política. Funcionarios públicos, políticos, actores de la sociedad civil y otros grupos de interés pueden participar en los procesos de aseguramiento de la calidad a través de revisiones de los documentos o de participación en talleres.

Recurso adicional El capítulo de control de calidad del libro de Struyk (2015) es una excelente lectura final para este módulo y brinda una visión general de cómo varios centros de pensamiento gestionan la calidad de su trabajo.

Bibliografía Cohen, Adam, Smita Pattanaik, Praveen Kumar, Robert R. Bies, Anthonius de Boer, Albert Ferro, Annette Gilchrist, Geoffrey K. Isbister, Sarah Ross, and Andrew J. Webb. 2016. “Organised Crime against the Academic Peer Review System.” British Journal of Clinical Pharmacology 81 (6): 1012–17. doi:10.1111/bcp.12992. Struyk, Raymond. 2015. Improving Think Tank Management: Practical Guidance for Think Tanks, Research Advocacy NGOs, and Their Funders. Results for Development Institute.

- 24 -