AENOR

22

AENOR

23

DATA QUALITY REVIEW El Esquema DQR desarrollado por AENOR CENTROAMÉRICA da respuesta a la necesidad de conocer el grado de utilidad, objetividad e integridad de la información que genera la implementación de proyectos de cooperación e inversión social llevados a cabo por entidades públicas, privadas o cooperantes internacionales. Ya se han desarrollado más de 3.000 jornadas de evaluaciones y revisado información de más de 460 millones de dólares (336 millones de euros), fondos provenientes de cooperantes internacionales, fideicomisos y gobiernos.

Transparencia en los proyectos de cooperación Arnulfo Pino Mónica Quintanilla Estrella Zepeda

AENOR CENTROAMÉRICA

L

as Auditorías de Calidad de Datos o Data Quality Review-DQR constituyen un mecanismo que permite determinar el grado de utilidad, objetividad e integridad de toda la información reportada de los programas de intervención social o de inversión. Estas auditorías ayudan a mejorar los procesos de recopilación,

procesamiento y diseminación de datos, asegurando la transparencia en todo momento. Así, revisar, verificar y validar la información en cuanto a los procesos de recogida y procesamiento de información, el nivel de cumplimiento de indicadores, entrega, uso y utilidad de recursos, y los aspectos de calidad universalmente aceptados

AENOR

24

¿Qué es un esquema DQR? Es un mecanismo que permite determinar el grado de utilidad, objetividad e integridad de la información reportada en: proyectos de inversión, cooperación y sociales.

DATA QUALITY REVIEW

¿Cómo se realizan? A través de revisiones documentales; observaciones de procesos; entrevistas y/o grupos focales, y repeticiones de procesos. Objetivos de las DQR Revisar, verificar y validar: • Procesos de recolección y procesamiento de información • Nivel de cumplimiento de indicadores • Entrega, uso, utilidad de recursos • Aspectos de calidad universalmente aceptados ¿Quiénes pueden hacer uso de esquemas DQR? • Cooperantes internacionales • Instituciones gubernamentales • Fideicomisos • ONG • Organizaciones que deseen controlar sus proyectos de inversión e infraestructura

son los principales objetivos de estas auditorías. Todo programa de intervención social y de inversión incluye dentro de sus Planes de Monitoreo, Seguimiento y Evaluación la realización de evaluaciones de impacto de las principales intervenciones. Además, el Monitoreo y Seguimiento mide los resultados del programa a través del seguimiento de indicadores y toda la información concerniente a los beneficiarios y los mecanismos de entrega, uso y control de donaciones como parte de las intervenciones. Para evaluar los impactos de estas intervenciones, se llevan a cabo encuestas de línea base, intermedias y finales. El objetivo es medir de manera precisa los resultados atribuibles al programa, asegurar su validez, aprovechar la experiencia para la implementación de programas similares y promover el proceso de rendición de cuentas. Todos estos datos de Monitoreo y Evaluación ofrecen información importante para la administración de proyectos, la toma de decisiones y reportar el avance logrado en el cumplimiento de los objetivos y metas de los programas.

Para mantener la confianza en esta información se debe verificar regularmente la calidad de los datos utilizados. Hacer uso de las auditorías DQR garantiza que los fondos destinados a proyectos en ejecución o finalizados se dirigen a las personas y áreas objetivo que necesitan de la implementación de determinados proyectos de beneficio social y/o empresarial. Con el propósito de garantizar la objetividad, las auditorías DQR deben ser conducidas por entidades independientes a los programas desarrollados. En este sentido, AENOR CENTROAMÉRICA, entidad privada e independiente, ha desarrollado dos tipos de metodologías para revisar la calidad de los datos reportados en los proyectos de cooperación e inversión social: DQR de uso de fondos, indicadores reportados, selección y registro de beneficiarios; y DQR de evaluaciones de impacto de líneas de base, intermedias y/o finales.

DQR de uso de fondos, indicadores reportados, selección y registro de beneficiarios El objetivo general de esta auditoría es realizar la verificación del registro y selección de beneficiarios, brindar seguimiento y verificación de las metas reportadas, así como el buen uso de los fondos asignados. Los dictámenes de

AENOR

25

la DQR de monitoreo de programas se efectúan a través de la realización de las siguientes actividades: • Revisión y análisis de los informes de avances de implementación, así como el informe final de los proyectos. • Revisión y verificación de los avances en el cumplimiento de metas de indicadores informados por la entidad ejecutora del proyecto. • Revisión y evaluación del Sistema de Monitoreo y Evaluación presentado por la entidad ejecutora. • Realización de visitas de campo de acuerdo con una muestra para la comprobación de la ejecución del proyecto, la correcta aplicación de la metodología y enfoques de intervención del mismo, así como entrevistas con personal clave del proyecto. • Comprobación de la correcta utilización de los fondos asignados y la correcta entrega de donaciones, incentivos y/o bienes. Para el cumplimiento de objetivos de la DQR para el monitoreo de Programas, AENOR CENTROAMÉRICA realiza cuatro tipos de dictámenes: Auditoría de la selección y registro de beneficiarios en relación con el cumplimiento de los criterios de selección del beneficiario según la normativa establecida en el programa y la calidad de la información registrada en las bases de datos.

planteada en el proyecto y, si aplica, se formulan propuestas de ajustes a la ruta, uso y finalidad según los resultados de las evaluaciones. También se evalúa el impacto de los resultados y el nivel de satisfacción de los beneficiarios.

DQR de evaluaciones de impacto de líneas de base, intermedias y/o finales

Evaluación de Indicadores de resultado reportados, donde se evalúa la metodología utilizada para la medición, sistematización y reporte de los indicadores de resultado facilitados por la entidad técnica ejecutora y su cumplimiento en términos de cantidad, calidad y tiempo de ejecución. Auditoría de uso de fondos asignados, que verifica la utilización de los fondos asignados de acuerdo con la proyección de ejecución y el proceso de adjudicación y entrega de donaciones en especies y/o servicios a los beneficiarios. Evaluación de metodología, impacto y satisfacción de los beneficiarios del programa, donde se verifica la correcta aplicación de la metodología

Su objetivo es realizar una revisión independiente de la calidad de datos de las encuestas utilizadas para líneas de bases, intermedias y finales que evalúan el impacto y monitorean el avance de los principales indicadores de impacto de los programas evaluados. Se realiza a través de las siguientes actividades principales: • Revisiones documentales y análisis de especificaciones técnicas, manuales de trabajo, informes de avance, cuestionario utilizado en campo para el levantamiento de la información o registros de capacitación, entre otros aspectos. • Observaciones al proceso de Cartografía y toma de datos. • Repetición de entrevistas en una muestra siguiendo el modelo matemático elaborado por la Oficina de Censos de Estados Unidos basado el la entrevista repetida de Hansen, Hurwitz y Bershad. • Comparaciones entre las entrevistas originales y entrevistas

AENOR

26

Gráfico 1 Fases de la DQR

1

Auditoría de la selección y registro de beneficiarios

Proceso de selección de beneficiarios. Registro y consistencia de la información registrada. Duplicidad de información.

2

Evaluación de indicadores de resultado reportados

Dictamen de medición, sistematización y reporte de indicadores clave. Dictamen de cumplimiento de Indicadores de resultado.

3

Supervisión de uso de fondos asignados

Verificación de las donaciones asignadas. Valoración del uso y beneficio de las donaciones en especies y/o servicios a los beneficiarios.

4

Evaluación de metodología, impacto y satisfacción de beneficiarios

Dictamen de calidad de diseño y aplicabilidad. Dictamen de eficiencia - eficacia - efectividad. Dictamen sobre la perspectiva de impacto. Dictamen sobre el nivel de satisfacción de los beneficiarios.

Gráfico 2 Auditorías DQR Auditoría de calidad del producto • Tamaño muestral • Diseño muestral • Encuesta

Auditoría de calidad del proceso • Capacitación • Cartografía • Recolección de información • Control de calidad • Codificación • Digitación

Auditoría para la verificación de la integridad de la base de datos • Duplicidad de información • Falta de información completa • Cálculo de errores en Base de Datos

Evaluación de los aspectos de calidad Universalmente aceptados • Validez • Fiabilidad • Oportunidad • Precisión • Objetividad • Suficiencia • Viabilidad

DATA QUALITY REVIEW repetidas, elaboración de tablas de concordancia y consistencia. • Repetición del proceso de Control de Calidad a una muestra. • Repetición del proceso de Codificación. • Trazabilidad de encuestas físicas versus la base de datos en una muestra del total de cuestionarios físicos. • Chequeo de duplicidad de la base de datos. Con los resultados de estas auditorías y evaluaciones se generan cuatro dictámenes: Nivel de satisfacción de la Calidad del Producto en relación con el cumplimiento de las especificaciones técnicas (tamaño, diseño/marco muestral) requeridas y lo implementado por las empresas contratadas para evaluar el impacto de los programas. Nivel de satisfacción de la Calidad del Proceso de elaboración de las encuestas. Nivel de satisfacción de la Calidad de la Base de Datos, identificando qué proporción de las bases de datos tienen

AENOR

27

Proyectos DQR desarrollados en El Salvador Con el esquema DQR, AENOR CENTROAMÉRICA ha desarrollado más de 3.000 jornadas de evaluaciones y revisado información de más de 460 millones de USD (336 millones de euros), fondos provenientes de cooperantes internacionales, fidecomisos y gobiernos. Entre nuestros clientes y proyectos más representativos están:

problemas de calidad (consistencia, concordancia, precisión, duplicación e integridad); ¿qué registros poseen un bajo estándar de calidad?; y ¿cuáles son los problemas de calidad de datos más predominantes dentro de cada campo. Nivel de satisfacción de la calidad de los Aspectos de Calidad Universalmente Aceptados de validez, fiabilidad, oportunidad, precisión, objetividad, suficiencia y viabilidad para aspectos de producto, proceso y cada base de datos. Y, formular recomendaciones de cómo mejorar la calidad de los datos provenientes de las encuestas. ◗

FOMILENIO • DQR de Estudio de Percepción de beneficiarios de proyectos de agua y saneamiento, infraestructura comunitaria y Carretera Longitudinal del Norte, sondeo de opinión cuantitativo y cualitativo. • DQR de encuestas intermedias de conectividad y electrificación rural, agua y saneamiento, encuestas finales de PDP (Proyecto de Desarrollo Productivo) y EHPM_ZN 201 (Encuesta de Hogares de Propósitos Múltiples Zona Norte). • Auditoría de Uso del Fondo de Apoyo al Desarrollo Productivo. • Evaluación de Indicadores Clave reportados por la consultora Chemonics en el segundo año de la fase plena de implementación. • Evaluación de los Proyectos Financiados con Fondos de Iniciativas Productivas (FIP). • DQR para el Monitoreo del Programa Cuenta del Reto del Milenio. • DQR para las Encuestas de Líneas Base.

Banco de Desarrollo de El Salvador (BANDESAL) • Entidad Técnica Supervisora del Proyecto “Rescate de la Caficultura Nacional”. • DQR del Parque Cafetalero FIDECAM. Ministerio de Agricultura y Ganadería • DQR de la documentación de soporte para la depuración de las cuentas con los pagos pendientes a los viveristas. Consejo Salvadoreño del Café • DQR de los requerimientos de la Alianza para la Excelencia del Café (ACE) para el Concurso Taza de Excelencia. Ministerio de Obras Públicas, Transporte, Vivienda y Desarrollo Urbano • DQR de la Calificación de Familias para los Proyectos de los municipios de San Fernando, San Francisco Morazán, La Laguna, Ojos de Agua, Las Vueltas, Arcatao, San Antonio Los Ranchos, San Isidro Labrador, San José Cancasque y Potonico, departamento de Chalatenango; y los municipios de Jutiapa y Cinquera, Departamento de Cabañas; del subcomponente Mejoramiento de Piso.