ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA OBTENIDA A TRAVÉS DE ENCUESTAS WEB JUAN SÁNCHEZ FERNÁNDEZ, FRANCISCO MUÑOZ LEIVA, JOSÉ ÁNGEL IBÁÑEZ ZAPATA, FRANCISCO JAVIER MONTORO RÍOS
[email protected],
[email protected],
[email protected],
[email protected] Universidad de Granada
RESUMEN La mayoría de los trabajos que han analizado el efecto de los incentivos sobre la tasa de respuesta han tratado de extrapolar el amplio conocimiento existente de las metodologías de encuestas personales telefónicas y postales al medio Internet. Sin embargo, existen bastantes diferencias que justifican un enfoque distinto en su uso y que hacen que los conocimientos existentes, por mucho que estén contrastados, no sean directamente aplicables a este nuevo medio. En esta línea el presente trabajo aborda el estudio del modo en el que el empleo de diferentes combinaciones de incentivos basados en sorteos afecta a la respuesta a un cuestionario canalizado a través de Internet. Un resultado sorprendente establece que el uso conjunto de pre-incentivos y post-incentivos mejora ligeramente las tasas de respuesta, si bien genera una tasa de respuesta sensiblemente inferior a la alcanzada cuando dichos incentivos se emplean por separado.
PALABRAS CLAVE Encuestas Web, incentivos, sorteos, tasa de respuesta, calidad de la respuesta
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
1. Introducción Ante esta generalización en el uso de la Red, tanto desde el punto de vista de las empresas como de los consumidores, no resulta extraño que en los últimos años una parte de la atención se haya centrado en las posibilidades que el nuevo medio brinda para la investigación de mercados en general, y para la realización de encuestas, en particular. En los últimos años, el tradicional trío encuestador-teléfono-correo que ha constituido la base esencial de la mayoría de las entrevistas, se ha visto claramente afectado por las tremendas posibilidades que brinda el uso de las NTICs, entre las cuales destacan las metodologías ACASI (Audio ComputerAssisted Self-Interviewing), IVR (Interactive Voice Response), y las encuestas Web, que combinan la fortaleza de la administración electrónica con las ventajas de la auto-administración (Fricker et al., 2005). En este contexto, a medida que el uso de Internet en la investigación de mercados se va generalizando, se hace necesario un mayor conocimiento acerca de los condicionantes que ayudan a obtener mejores resultados, tanto en términos de cantidad como de calidad de la respuesta (Göritz, 2006b). En los últimos diez años, diversos autores han analizado desde diferentes perspectivas las ventajas y los inconvenientes que brinda Internet para canalizar encuestas. Un resumen de las principales conclusiones se recoge en la tabla 1. TABLA 1 Ventajas e inconvenientes de las encuestas online Ventajas Amplitud geográfica
Autores Roztocki (2001)
Inconvenientes Coste del acceso a Internet para el encuestado
Autores Göritz (2006b)
Proceso con menos etapas Seguimiento automático
Couper et al. (2001)
No generalización de acceso a Internet Dificultad de determinar la tasa de respuesta Perfil de encuestados muy específico
Fricker et al. (2005)
Sesgo del método/ Posibles resultados sesgados Múltiples respuestas por parte de una misma persona Tiempo de descarga de los elementos de un cuestionario
Cobanoglu y Cobanoglu (2003)
Autoclasificación del correo de invitación como spam Tasa de respuesta del grupo de control menor
Birnholtz et al. (2004) Porter y Whitcomb (2003)
Obtención de un marco muestral
Dillman (2000)
Control on-line de la respuestas dudosas
Fricker et al. (2005) Bosnjak y Tuten (2003) Fricker et al. (2005)
Interactividad
Fricker et al. (2005)
Cumplimentación más atractiva y divertida
Fricker et al. (2005) Deutskens et al. (2004) Dillman (2000) Chang y Krosnick (2003)
Mayor sinceridad gracias a la autoadministración Mayor flexibilidad para el entrevistado
Fricker et al. (2005)
Menor coste (total) y eficiencia económica
Porter y Whitcomb (2003a) Roztocki (2001) Sheehan y Hoy (1999) Weible y Wallace (1998) Ilieva et al. (2002) Roztocki (2001)
Menores errores humanos El coste no depende tanto del tamaño de la muestra Detección de patrones de participaciones incompletas
Couper et al. (2001)
Eficiencia (nº de encuestas) y velocidad
Roztocki (2001) Sheehan y McMillan (1999)
Bosnjak y Tuten (2003)
2
Fricker et al. (2005) Göritz (2006b)
Cobanoglu y Cobanoglu (2003) Göritz (2006b) Dillman (2000)
Porter y Whitcomb (2003)
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
Ventajas de respuesta Formas de solicitar la participación por mail o banner
Autores Flaherty et al. (1998) Birnholtz et al. (2004)
Inconvenientes
Autores
Fuente: Elaboración Propia Si bien el objetivo de este trabajo no es discutir la lógica de los argumentos ofrecidos en los trabajos anteriormente citados acerca de las diferentes ventajas e inconvenientes de este nuevo medio de realización de entrevistas, no parece haber duda en que sus ventajas superan ampliamente a sus inconvenientes, sobre todo en el caso de aquellos colectivos que hacen un uso más habitual de Internet (Aoki y Elasmar, 2000), de ahí su interés desde el punto de vista investigador. A pesar del indudable interés de Internet como una nueva vía de canalización de cuestionarios, sorprendentemente no han sido muchos los trabajos que han abordado un análisis en profundidad desde una perspectiva académica. Dicha tarea debería permitir conocer mejor las peculiaridades del medio, en forma de ventajas y problemas contrastados, en busca de la mejora y desarrollo de la investigación de mercados en Internet. Dos de los aspectos que son manifiestamente mejorables en las encuestas a través de Internet son la tasa de respuesta y la calidad de la misma. Diferentes autores han analizado la forma de mejorar estos dos aspectos mediante el uso de incentivos (Bauman et al., 2000; Cook et al., 2000; Frick et al., 2001; O'Neil y Penrod, 2001; Downes-Le Guin et al., 2002; Cobanoglu y Cobanoglu, 2003; Bosnjak y Tuten, 2003; Porter y Whitcomb, 2003; Birnholtz et al., 2004; Göritz, 2004; Tuten et al., 2004; Göritz, 2005a; Göritz, 2005b; Göritz, 2006b; Heerwegh, 2006;), la personalización de las invitaciones (Joinson, 1999; Cho y LaRose, 1999; Musch y Reips, 2000; Heerwegh y Loosveldt, 2002; Kelly y McKenzie, 2002; Porter y Whitcomb, 2003; Heerwegh y Loosveldt, 2003; Heerwegh, 2005), el uso de diferentes formatos de encuestas (Tuten, 2000; Frick et al., 2001; Smyth et al., 2006), e incrementando el número de contactos (Crawford et al., 2002; Deutskens et al., 2004; Heerwegh, 2006). En muchos de estos trabajos se ha tratado de extrapolar el amplio conocimiento existente acerca de las metodologías de encuestas personales, telefónicas y, sobre todo, postales, al medio Internet. Dicha extrapolación se ha realizado, en muchos de los casos, a través de la realización de análisis comparativos entre el nuevo medio y los tradicionales (Yun y Trumbo, 2000; Cobanoglu et al. 2001; Sheehan, 2001; Ilieva et al. 2002; Cobanoglu y Cobanoglu, 2003; Coderre et al., 2004; Kaplowitz et al., 2004; Roster et al., 2004; Fricker et al., 2005; McCabe, et al. 2005; Deutskens et al, 2006). No obstante, en este trabajo coincidimos plenamente con Couper (2000), Tourangeau et al. (2000), Deutskens et al. (2004) y Göritz (2006b), en que, si bien Internet comparte algunas características con los medios tradicionales, fundamentalmente con el correo postal (Downes-Le Guin et al., 2002), existen suficientes diferencias que justifican un enfoque distinto en su uso y que hacen que los conocimientos existentes sobre otros medios de entrevista, por mucho que se hayan contrastado empíricamente a lo largo de las últimas décadas, no sean directamente aplicables al medio Internet. Así pues, se hace necesario un esfuerzo por conocer cómo funcionan las encuestas Web bajo diferentes condicionantes (incentivos, personalización de los mensajes, temas objeto de investigación, públicos objetivo, etc.), que permita más temprano que tarde desarrollar unas pautas generales de actuación en este sentido, con la intención de mejorar la administración y los resultados de tal metodología. En esta línea, en el presente trabajo se aborda el estudio del modo en el que el empleo de diferentes combinaciones de incentivos basados en sorteos afecta a la respuesta a un cuestionario canalizado a través de Internet. Más concretamente, el trabajo se estructura de la siguiente forma: en el epígrafe siguiente se ofrece una justificación del posible impacto producido por diferentes tipos de incentivos sobre la respuesta a un cuestionario Web. Tras esta revisión de la literatura, se detalla la metodología empleada para medir la influencia de los incentivos sobre la respuesta a un cuestionario desarrollado en relación con una materia específica y dirigido a un público objetivo concreto. Seguidamente, se
3
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
presentan los principales resultados obtenidos y se finaliza con un apartado de conclusiones e implicaciones.
2. La influencia de los incentivos en la respuesta a las encuestas Web Dos de los principales problemas de las encuestas, con independencia del medio a través del cual se canalicen, son la obtención de unos niveles adecuados de tasa de respuesta y de calidad de la misma. Han sido diversos los mecanismos que los investigadores han puesto en funcionamiento para tratar de conseguir mejorar estos dos parámetros. Algunos autores han encontrado que el uso de incentivos incrementa significativamente la predisposición a participar y tiende a reducir el número de respuestas incompletas (Bauman et al., 2000; Musch y Reips, 2000; Frick et al., 2001; Downes-Le Guin et al., 2002; O'Neil et al., 2003; Bosnjak y Tuten, 2003; Tuten et al., 2004; Deutskens et al., 2004; Heerwegh, 2006; Göritz, 2006b), aspecto que justifica el hecho de que con bastante frecuencia se recurra a su utilización. La casuística que rodea el uso de incentivos en las encuestas es muy amplia, tanto en lo referente a las condiciones para poder optar a los mismos, como a probabilidad de obtenerlos, su tipología, el canal de entrega, el tamaño, la denominación, las características del público objetivo al que se dirigen, etc. La clasificación más habitual es aquella que distingue entre pre-incentivos (incondicionales) y postincentivos (condicionales) (Porter y Whitcomb, 2003; Göritz, 2005). Los pre-incentivos se entregan a todas aquellos individuos seleccionados para formar parte de la muestra objeto de estudio, independientemente de que, finalmente, se decanten o no por completar el cuestionario que se les propone. Por su parte, a los post-incentivos sólo tiene acceso aquella parte de la muestra que colabora cumplimentando el cuestionario. Por otro lado, el acceso a los incentivos puede ser de carácter directo, sin que medie asignación al azar de ningún tipo, o indirecto, resultado de la participación en un sorteo. En cuanto al carácter del incentivo, básicamente se puede hablar de incentivos económicos y no económicos. Ante esta amplía casuística, la primera cuestión que surge al plantearse su uso en encuestas Web es precisamente qué tipo de incentivo emplear. Esta decisión depende de factores tales como el presupuesto disponible, el público objetivo al que se dirija, la facilidad para ser entregado y el objeto de la encuesta, entre otros (Bauman et al., 2000). En este estudio, se ha optado por los incentivos basados en sorteos, los cuales han sido administrados bajo la filosofía de pre-incentivos (dando la posibilidad de participar en un sorteo, con independencia de contestar o no el cuestionario) o post-incentivos (dando la posibilidad de participar en un sorteo solo a aquellos que rellenaran completamente el cuestionario). Tras estos planteamientos previos, debemos decir que no han sido muchos los estudios que sen han centrado en analizar la eficacia de los incentivos (pre o post) para mejorar los resultados de las encuestas Web (Musch y Reips, 2000; Bauman et al., 2000; Frick et al., 2001; O'Neil y Penrod, 2001; O'Neil et al. 2003; Bosnjak y Tuten, 2003; Porter y Whitcomb, 2003; Tuten et al., 2004; Deutskens et al., 2004; Göritz, 2005; Heerwegh, 2006; Göritz, 2006b, han sido algunos de los estudios de referencia). En general, se podría pensar que la influencia de los incentivos, principalmente los incondicionales, es positiva, en algunos trabajos no se ha observado tal efecto (Bosnjak y Tuten, 2003; Göritz, 2005). En cualquier caso, en la línea de lo ya apuntado por Cook et al. (2000) tras el meta-análisis realizado para medir la influencia de los incentivos en la respuesta a las encuestas Web, se puede decir que los resultados están lejos de ser concluyentes. No obstante, estos mismos autores apuntan que el uso de incentivos parece estar asociado con una tasa de respuesta más baja. Este resultado, a primera vista paradójico, puede verse explicado por el hecho de que los incentivos se suelen emplear en mayor medida en encuestas tediosas y desproporcionadamente largas, donde los promotores reconocen la necesidad de ofrecer premios importantes para incrementar la probabilidad de que se termine la encuesta. Aceptando que los incentivos puedan mejorar los resultados de las encuestas Web, en particular la tasa y la calidad de la respuesta, también hay que tener en cuenta que su uso encierra ciertos problemas,
4
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
entre los cuales se pueden destacar los siguientes (Göritz, 2006b): es posible que su uso atraiga a una tipología de individuos muy concreta, lo que podría resultar en un sesgo muestra; su utilización podría impulsar una participación exclusivamente motivada por la obtención del incentivo, provocando incluso respuestas repetidas de un mismo individuo; también podría motivar una respuesta rápida y sin la necesaria lectura de las preguntas, con el propósito de finalizar cuanto antes; por último, podría ocasionar ciertos problemas legales en algunos países en los que los incentivos contraviniesen las normas, bien por la propia naturaleza del incentivo, bien, en su caso, por el uso de sorteos o loterías. Por otra parte, el efecto de los incentivos puede ser diferente en función de la variable dependiente que se toma como referencia y de los factores de interacción considerados. La tabla 2 muestra algunas variables que se han tomado como referencia para medir los resultados obtenidos a través de las encuestas Web. TABLA 2 Clasificación de los trabajos en función de la variable resultante analizada Efectos
Variable considerada Nº de encuestas
Tasa de respuesta Solo primer bloque Tasa de retención Nº de respuestas Missing data Tiempo Calidad de la respuesta
Predisposición a colaborar
Longitud de las respuestas a las preguntas abiertas (medido en número de caracteres) Respuestas estereotipos o patrones de respuesta Número de NS/NC Fiabilidad Entran en la página de bienvenida Pasa de la página de bienvenida a la primera página del cuestionario
Composición de la muestra Efecto sobre los resultados Costes
Autores Couper et al. (2001); Downes-Le Guin et al. (2002); Cobanoglu y Cobanoglu (2003); Porter y Whitcomb (2003); Bosnjak y Tuten (2003); Göritz (2004); Deutskens et al. (2004); Birnholtz et al. (2004); Fricker et al. (2005); Heerwegh (2006); Göritz (2006b) O'Neil y Penrod (2001); Bosnjak y Tuten (2003); O'Neil et al. (2003); Göritz (2004); Göritz (2005); Göritz (2006b) Musch y Reips (2000); O'Neil y Penrod (2001); Frick et al. (2001); Göritz (2004); Göritz (2005); Heerwegh (2006) Porter y Whitcomb (2003); Deutskens et al. (2004); Göritz (2005); Fricker et al. (2005); Heerwegh (2006) Porter y Whitcomb (2003); Bosnjak y Tuten (2003); Göritz (2004); Göritz (2005); Heerwegh (2006) Cobanoglu y Cobanoglu (2003); Bosnjak y Tuten (2003); Deutskens et al. (2004); Fricker et al. (2005); Heerwegh (2006) Deutskens et al. (2004); Göritz (2005)
Göritz (2004); Göritz (2005); Fricker et al. (2005) Deutskens et al. (2004) Deutskens et al. (2004) O'Neil y Penrod (2001); Bosnjak y Tuten (2003); Heerwegh (2006) Bosnjak y Tuten (2003)
Göritz (2004); Fricker et al. (2005); Heerwegh (2006) O'Neil y Penrod (2001); Göritz (2004); Fricker et al. (2005) Couper et al. (2001); Downes-Le Guin et al. (2002)
Fuente : Elaboración Propia
3. Hipótesis de investigación Si bien la revisión teórica realizada por (Göritz, 2005) le lleva a concluir que teóricamente el efecto sobre la tasa de respuesta debería ser mayor con pre-incentivos que con post-incentivos, no se ha encontrado literatura relevante que sustente la hipótesis de un efecto positivo de los pre-incentivos como estimuladores de las tasas de respuesta y de retención, a pesar de la lógica de los planteamientos de la perspectiva psicológica. En este sentido, Bosnjak y Tuten (2003) y Göritz (2005) concluyeron que el efecto sobre la tasa de respuesta es neutro. Desde un punto de vista psicológico, la Norma de Reciprocidad juega un papel determinante en la decisión individual de participar o no en una encuesta. Así, los pre-incentivos incrementarían la probabilidad de responder a una encuesta porque el individuo se sentiría obligado a corresponder a la
5
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
deferencia recibida (Dillman et al., 1996). Los incentivos son vistos como un regalo en lugar de cómo una compensación por el esfuerzo realizado (Groves et al., 1992). Por tanto, los pre-incentivos son consistentes con la Teoría del Intercambio Social. Siguiendo los planteamientos de la Norma de Reciprocidad, consideramos que el uso de pre-incentivos basados en sorteos hará que los entrevistados se sientan más implicados con el estudio, consiguiéndose mejores resultados en términos de tasa y calidad de la respuesta. Por tanto, se proponen las siguientes hipótesis. H1: La utilización de pre-incentivos basados en sorteos tiene un efecto positivo sobre la tasa de respuesta. H2: La utilización de pre-incentivos basados en sorteos tiene un efecto positivo sobre la tasa de retención. H3: La utilización de pre-incentivos basados en sorteos tiene un efecto positivo sobre la calidad de la respuesta. Varios son los autores que han observado un efecto positivo de los post-incentivos sobre la tasa de respuesta (Musch y Reips, 2000; Bauman et al., 2000; Frick et al., 2001; Bosnjak y Tuten, 2003; Cobanoglu y Cobanoglu, 2003; Tuten et al, 2004; Deutskens et al., 2004; Göritz, 2006b; Heerwegh, 2006). En general, la revisión teórica realizada concluye que los efectos producidos por los postincentivos son superiores a los alcanzados con el uso de pre-incentivos, sobre todo en lo que a la tasa de respuesta se refiere (Musch y Reips, 2000; Frick et al., 2001; Bosnjak y Tuten, 2003; O'Neil et al., 2003; Göritz, 2006b). Resulta también habitual que los encuestados abandonen un cuestionario cuando no media incentivo que los anime a continuar hasta el final (Göritz, 2004). No obstante, hay también estudios importantes, aunque menos numerosos, que concluyen que este efecto no es significativo (e.g. O'Neil y Penrod, 2001; Göritz, 2005; Heerwegh, 2006). Además, uno de los principales inconvenientes de los post-incentivos podría estar en que los encuestados pasen rápidamente por el cuestionario con la intención de llegar cuanto antes al final del mismo y tener opción de conseguir el incentivo (Göritz, 2006b), lo que podría afectar negativamente a la calidad de la respuesta. En la misma línea Heerwegh (2006) considera que los individuos que reciben post-incentivos, al tener una motivación extrínseca, proporcionan respuestas de menor calidad, medida ésta a través del número de missing data. Por el contrario, Göritz (2005) también puntualiza que el post-incentivo puede actuar como elemento selectivo que disuade a aquellos individuos menos interesados en el estudio y que simplemente tienen cierta curiosidad por las encuestas que les lleva a iniciarlas sin la intención de realizarlas completamente. En estos casos, el mecanismo de disuasión selectiva ayudaría a mejorar la calidad de las respuestas, ya que solo los realmente interesados responderían el cuestionario. Esta aparente contradicción puede ser una de las causas de que Göritz (2004, 2005) llegue a la conclusión, tras realizar sendos estudios empíricos, de que el efecto de los post-incentivos sobre la calidad de la respuesta es neutro. Por su parte, la teoría del Intercambio Económico, postula que los encuestados completarán y devolverán la encuesta a cambio de una compensación monetaria, en lugar de por los beneficios que su actuación pueda reportar a la sociedad (Tuten et al., 2004). Además, cuando media un sorteo, los beneficios esperados no están determinados exclusivamente por la cantidad de dinero del incentivo, sino que esa cantidad se encuentra ponderada por la probabilidad de resultar ganador. Así pues, las hipótesis sugeridas en relación a los post-incentivos las concretamos en: H4: La utilización de post-incentivos basados en sorteos tiene un efecto positivo sobre la tasa de respuesta. H5: La utilización de post-incentivos basados en sorteos tiene un efecto positivo sobre la tasa de retención. H6: La utilización de los post-incentivos basados en sorteos tiene un efecto negativo sobre la calidad de la respuesta.
6
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
Por otro lado, en este trabajo se acepta el reto propuesto por Bauman et al. (2000) en relación con el interés de estudiar formas híbridas de incentivos. Se trata, en este caso, de evaluar cómo diferentes combinaciones de pre-incentivos y post-incentivos pueden afectar a los resultados de una encuesta Web. La ausencia de estudios basados en Internet que combinen ambos tipos de incentivos, hace que se planteen estas hipótesis con un carácter exploratorio. H7: La combinación de pre-incentivos y post-incentivos basados en sorteos mejora la tasa de respuesta en comparación con el uso de estos incentivos de forma individual o su no uso. H8: La combinación de pre-incentivos y post-incentivos basados en sorteos mejora la tasa de retención en comparación con el uso de estos incentivos de forma individual o su no uso. H9: La combinación de pre-incentivos y post-incentivos basados en sorteos tiene un efecto positivo sobre la calidad de la respuesta en comparación con el uso de estos incentivos de forma individual o su no uso. En otro orden de cosas, uno de los inconvenientes que se suele atribuir al uso de los incentivos en las encuestas web es que éstos pueden atraer a una tipología de individuos especialmente motivados por su consecución (Göritz, 2006b). Así, Göritz (2004) y Heerwegh (2006), concluyen que la composición de la muestra se ve afectada cuando se usan incentivos. Por tanto, se plantean las siguientes hipótesis. H10: El uso de diferentes combinaciones de incentivos afecta a la composición de la muestra finalmente conseguida medida en términos de sexo. H11: El uso de diferentes combinaciones de incentivos afecta a la composición de la muestra finalmente conseguida medida en términos de ideología política. H12: El uso de diferentes combinaciones de incentivos afecta a la composición de la muestra finalmente conseguida medida en términos de nivel de ingresos.
4. Táctica de investigación 4.1. Muestra obtenida y cuestionario utilizado La muestra finalmente empleada estaba constituida por los 1654 estudiantes registrados en una plataforma de docencia adscrita a una universidad española. A los alumnos registrados se les envío un e-mail invitándoles a participar en el estudio. En el cuerpo del mensaje se proporcionaba la posibilidad de darse de baja en el estudio y se aseguraba que la identificación de cada individuo y su asociación con sus respuestas al cuestionario se realizaban con el único propósito de poder entregar el premio (incentivo), que posteriormente se detallaba, en caso de resultar agraciado. En relación a la composición de la muestra, hay autores que consideran que los resultados que se obtienen con muestras de estudiantes no son generalizables, ya que, entre otras cosas, la motivación de los estudiantes puede ser diferente de la que tienen los adultos auto-seleccionados (O´Neil et al. 2001). No obstante, entendemos que esta reflexión concentra exclusivamente la atención sobre la validez externa de los experimentos, que será tanto mayor cuanto más se asemeje la composición de la muestra a la población objeto de estudio. Por el contrario, entendemos que la validez interna de los experimentos podría verse mejorada mediante el estudio de muestras homogéneas. Desde nuestro punto de vista, los resultados alcanzados en relación con efecto provocado por cierto tratamiento en una muestra heterogénea podrían verse contaminados por variables extrañas relacionadas con las propias diferencias existentes entre los grupos experimentales. En nuestro caso, el uso de una muestra heterogénea habría sido especialmente nocivo dado que los incentivos empleados habrían tenido, en sí mismos, una valoración muy diferente en función de las características de cada individuo. Además, el empleo de muestras de estudiantes también tiene la ventaja de que muchos tienen la obligación de registrarse en plataformas Web para acceder a contenidos y materiales de los cursos que toman, por lo que la inmensa mayoría dispone de una dirección de e-mail actualizada desde el primer día que acceden a la institución, y atribuyen a la misma, gracias a un proceso de socialización, una importancia extrema (Crawford et al. 2002), aspecto que hace que se consulte incluso varias veces por día. Por otro lado, como puntualiza Sears (2000), muchos investigadores consideran que los resultados producidos por estudios con diferentes muestras son generalmente los mismos (Bornstein, 1999).
7
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
El trabajo de campo se inició el 9 de mayo de 2006 y concluyó el 10 de julio del mismo año. Durante este periodo de tiempo, se realizaron 6 contactos por e-mail (uno de invitación y 5 de seguimiento) a los potenciales entrevistados. Finalmente se obtuvieron 781 cuestionarios finalizados, alcanzándose una tasa de retención del 47,22%. El cuestionario incluyó escalas que, en su mayoría, estaban relacionadas con el comportamiento en defensa del medio ambiente. Tras la identificación del encuestado, se incluían preguntas sobre el uso del transporte público y del vehículo propio, y tras visionar un video, se le solicitaba la elección entre un premio en forma de bonos de carburante en la estación de servicio de su elección o la misma cantidad monetaria en bonos de autobús urbano. Posteriormente se continuaba con el cuestionario. Cada individuo debía optar, a priori, entre recibir el importe del premio en forma de bonos de carburante en la estación de servicio que prefiriera, o hacerlo en forma de bonos de autobús urbano. Los textos, tipos de imágenes y música incorporada a los anuncios se pueden consultar en Internet 1 . 4.2. Diseño experimental Tal y como queda definido por las hipótesis formuladas, se diseñó un experimento formado por dos tipos de incentivos basados en sorteos (pre-incentivo y post-incentivo), que se configuran como dos tratamientos diferentes con dos niveles cada uno (sin vs. con). Dado que se estaba interesado en analizar el efecto interacción entre estos factores, se planteó un diseño factorial completo de 4 grupos equilibrados, tal y como se recoge en la tabla 3. TABLA 3 Diseño experimental Pre-incentivo
DISEÑO EXPERIMENTAL
Post-incentivo
Casos
Sin post-incentivo
416
Con post-incentivo
414
Sin post-incentivo
412
Con post-incentivo
412
Sin pre-incentivo
Con pre-incentivo
Las manipulaciones se realizaron mediante el uso de pre-incentivos y post-incentivos de carácter material basados en sorteos, y anunciados en los e-mails de contacto enviados a los integrantes del marco muestral. El pre-incentivo fue anunciado en el e-mail de invitación mediante el siguiente texto: “Por el simple hecho de haber sido seleccionado vas a participar en el sorteo de un reproductor de MP3 i-POD con 30 GB, valorado en 350€. Este regalo será tuyo si alguno de los códigos de participación mostrados al final del mensaje coincide con el del sorteo de la Organización Nacional de Ciegos Españoles (ONCE) del día 10 de Julio”. Por su parte, el post-incentivo se concretó a través del siguiente texto: “En agradecimiento por tu colaboración, si llegas hasta el último bloque del cuestionario, participarás en un sorteo con 7 premios valorados en 120€”. Antes de iniciarse el proceso de captación de datos, se realizaron diversas asignaciones aleatorias. En la primera de ellas se asoció cada código de identificación personal (NIF) con los grupos experimentales. En la segunda asignación aleatoria, se asociaron números contenidos entre el 0000 y el 9999 con los diferentes identificadores personales, con el objeto de ser utilizados en los sorteos a los que se refieren tanto pre-incentivos como post-incentivos. Una vez que el encuestado accedía al cuestionario, la primera pantalla le solicitaba un identificador (NIF) y una clave o pin (personal e intransferible). Una vez finalizado el cuestionario, se accedía a una pantalla imprimible en la que se anunciaban los números con los que participaba en el (los) sorteo(s). Por su parte, en este trabajo las variables dependientes controladas fueron las siguientes: - Tasa de respuesta, definida como el número de personas que acceden por lo menos a la primera página de la encuesta (Göritz, 2006b) entre el número de invitaciones enviadas, una vez que se han sustraído los individuos no contactados y los errores conocidos en las direcciones electrónicas (Heerwegh et al., 2005). 1
Se puede acceder a una copia del cuestionario a través de http://******* (NIF y pin = 0000).
8
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
- Tasa de retención, definida como el número de personas que llegan hasta el final de la encuesta (Göritz, 2006). Esta tasa incluiría a los informantes completos, es decir, aquellos que ven y responden a todas las cuestiones (Bosnjak y Tuten, 2001). - Calidad de la respuesta, medida a través de la amplitud de las respuestas (Goetz et al., 1984). La amplitud de la respuesta puede ser evaluada mediante preguntas abiertas, o con la ausencia de respuestas “No sabe” o en blanco, y la ausencia de cuestionarios completados parcialmente. Concretamente se ha considerado: a. Número de missing data. La calidad de la respuesta está relacionada con aquellos encuestados que observan algunas de las cuestiones pero no responden (exploración de abandonos), algunos de los cuales abandonan el estudio antes de llegar al final, y con aquellos que ven el cuestionario completo, pero solo responden a algunas de las cuestiones vistas (elementos sin responder) (Bosnjak y Tuten, 2001). b. Número de bloques respondidos. Una alternativa a la contabilización individualizada de los ítems del cuestionario consiste en dividir el cuestionario en bloques de preguntas relacionadas y controlar el número de bloques que se contestan. - Composición de la muestra, comprobando si hay un determinado perfil de encuestados que responden la encuesta ante un incentivo concreto. Particularmente se tuvo en cuenta el sexo, ideología política y presupuesto mensual disponible.
5. Resultados Una vez finalizado el trabajo de campo, los cuestionarios se encontraban en una de las tres siguientes situaciones: sin iniciar, sin terminar y terminados. Para contrastar la diferencia en los efectos producidos por las diferentes combinaciones de incentivos la situación final de cada entrevista se realizó un test de asociación de la Chi-cuadrado. Como se puede apreciar en la tabla 4, cabe afirmar que existe una asociación significativa entre ambas variables (sig. =0,030). Más concretamente, cuando no se empleaba incentivo alguno, el porcentaje de encuestas “terminadas” era sensiblemente inferior, al mismo tiempo que el porcentaje de encuestas “sin iniciar” y “sin terminar” era sensiblemente superior. No obstante, se debe destacar el hecho de que el porcentaje de encuestas “terminadas” en aquellos casos en los que sólo se emplearon pre-incentivos (53,96%) o postincentivos (50,5%) es superior al conseguido cuando se emplearon ambos tipos de incentivos simultáneamente (47,87%), por lo que se realizó un análisis más detallado cuyo resumen queda reflejado en las tablas 5 y 6. TABLA 4 Efecto de los incentivos sobre la tasa de respuesta (muestra total) Sin incentivo Solo preincentivo Solo postincentivo Preincentivo + postincentivo Total
Casos % row Casos % row Casos % row Casos % row Casos % row
Sin iniciar 168 41,18 134 33,17 145 36,25 154 38,60 601 37,31
Terminada 170 41,67 218 53,96 202 50,5 191 47,87 781 48,48
Sin terminar 70 17,16 52 12,87 53 13,25 54 13,53 229 14,21
Total 408 100 404 100 400 100 399 100 1611 100
Chi-Cuadrado (6 g.l.): 13.957; sign: 0.030
Los resultados ponen de manifiesto la existencia de un efecto interacción significativo del uso de incentivos de ambos tipos (i.e., pre- y post-incentivos). En el caso de las combinaciones más eficaces [sin post-incentivo y con pre-incentivo (es decir, solo pre-incentivo) y sin pre-incentivo y con postincentivo (solo post-incentivo)], se producen incrementos significativos en el porcentaje de cuestionarios terminados, en detrimento del número de cuestionarios iniciados. Los tests V de Cramer
9
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
realizados ofrecieron resultados significativos en ambos casos (1% y 5% de significación, respectivamente). Concretamente, resulta significativo el incremento del 12,29% que se produce en la tasa de retención del grupo de control “sin incentivos” (41,67%) con respecto al grupo experimental con “sólo pre-incentivo” (53,96%). A su vez, el porcentaje de abandono experimenta un descenso del 4,29%. En el caso de “sólo post-incentivo”, la tasa de retención alcanzó un 50,5% con respecto a la ausencia de incentivos (41,67%), alcanzando dicha tasa un incremento del 8,83% y reduciéndose la tasa de abandono en un 3,91%. TABLA 5 Efecto interacción de los incentivos sobre la tasa de respuesta: pre-post Pre-incentivo
Post-incentivo
Casos no % fila Casos sí no % fila Casos Total % fila Casos no % fila Casos sí sí % fila Casos Total % fila Preincentivo no: V de Cramer = 0.091 ; sig. =0.035 Preincentivo si: V de Cramer = 0.063; sig. = 0.204
Sin iniciar 168 41,18 145 36,25 313 38,74 134 33,17 154 38,60 288 35,87
Terminada 170 41,67 202 50,5 372 46,04 218 53,96 191 47,87 409 50,93
Sin terminar 70 17,16 53 13,25 123 15,22 52 12,87 54 13,53 106 13,20
Total 408 100 400 100 808 100 404 100 399 100 803 100
Los resultados anteriores concuerdan con los obtenidos después del cálculo del odd ratio 2 (Göritz, 2006a), que pone de manifiesto la mayor ganancia en términos de tasa de respuesta que se produce cuando sólo se usan pre-incentivos (1,41), superior a la alcanzada con el uso de los post-incentivos (1,23) y, finalmente, mayor aún a los resultados obtenidos con el uso conjunto de pre-incentivos y post-incentivos (1,11). A similares resultados se llega cuando se aplica el OR a la tasa de retención (pre-incentivos -1,61-; post-incentivos -1,38; pre-incentivos + post-incentivos -1,23). Con la intención de detectar los efectos causantes de tales diferencias, se realizó un análisis detallado por medio de tablas de contingencia. TABLA 6 Efectos de los pre-incentivos sobre la tasa de respuesta Sin incentives Solo pre-incentivos Total
Casos % fila Casos % fila Casos % fila
No comienzan
Comienzan
Total
168 41.18 134 33.17 302
240 58.82 270 66.83 510
408 100 404 100 812
37.19
62.81
100
Chi-cuadrado (1 g.l.): 5.57; sign: 0.018
2
OR= (A/B)/(C/D) , donde: A=Personas que contestan el cuestionario habiendo recibido un incentivo. B=Personas que no contestar el cuestionario habiendo recibido un incentivo. C=Personas que contestan el cuestionario del grupo del control. D=Personas que no contestan el cuestionario del grupo de control.
10
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
TABLA 7 Efecto de los pre-incentivos sobre la tasa de retención Casos % fila Casos % fila Casos % fila
Sin incentivos Solo pre-incentivos Total
No comienzan
Terminan
Total
168 49.70 134 38.07 302
170 50.30 218 61.93 388
338 100 352 100 690
43.77
56.23
100
No Comienzan
Comienzan
Total
168 41.18 145 36.25 313
240 58.82 255 63.75 495
408 100 400 100 808
38.74
61.26
100
No comienzan
Finalizan
Total
168 49.70 145 41.79 313
170 50.30 202 58.21 372
338 100 347 100 685
45.69
54.31
100
Chi-cuadrado (1 g.l.): 9.49; sign: 0.0021
TABLA 8 Efectos de los post-incentivos sobre la tasa de respuesta Casos % fila Casos % fila Casos % fila
Sin incentivos Solo post-incentivos Total Chi-cuadrado (1 g.l.): 2.07; sign: 0.1507
TABLA 9 Efectos de los post-incentivos sobre la tasa de retención Casos % fila Casos % fila Casos % fila
Sin incentivos Solo post-incentivos Total Chi-cuadrado (1 g.l.): 4.33; sign: 0.038
TABLA 10 Efecto de los pre+post sobre la tasa de respuesta Casos % fila Casos % fila Casos % fila
Sin incentivos Pre-incentivos + post-incentivos Total
No Comienzan
Comienzan
Total
168 41.18 154 38.60 322
240 58.82 245 61.40 485
408 100 399 100 807
39.90
60.10
100
No comienzan
Finalizan
Total
168 49.70 154 44.64 322
170 50.30 191 55.36 361
338 100 345 100 683
47.14
52.86
100
Chi-cuadrado (1 g.l.): 0.66; sign: 0.4172
TABLA 11 Efecto de los pre+post sobre la tasa de retención Sin incentivos Pre-incentivos + post-incentivos Total
Casos % fila Casos % fila Casos % fila
Chi-cuadrado (1 g.l.): 1.76; sign: 0.185
Por tanto, en lo que hace referencia a la tasa de respuesta, existen evidencias empíricas suficientes para rechazar las hipótesis 4 y 7, mientras que no se puede rechazar la hipótesis 1. Así mismo, en lo que
11
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
respecta a la tasa de retención, se puede rechazar la hipótesis 8, mientras que no se pueden rechazar las hipótesis 2 y 5. Concretando, nuestros datos permiten concluir que el uso de pre-incentivos basados en sorteos tiene un efecto positivo sobre las tasas de respuesta y de retención, mientras que esto no ocurre exactamente lo mismo cuando se utilizan post-incentivos. En este último caso el efecto positivo solo se produce sobre la tasa de retención, pero no sobre la tasa de respuesta. Siguiendo a Göritz (2005), una aproximación directamente aplicable a los incentivos condicionales es la Teoría Reactante (Brehm y Brehm, 1981). Dicha teoría se basa en que si la libertad conductual se ve amenazada, los individuos experimentarán un estado adverso de excitación llamado reactancia, e intentarán reducir la excitación reestableciendo la libertad amenazada. Por lo tanto, si una invitación por e-mail remarca la recepción de un incentivo a cambio de contestar a un cuestionario, los encuestados podrían experimentar que esto constituye una amenaza a su libertad, que intentarán reestablecer no respondiendo al cuestionario. Bajo este enfoque, el uso de post-incentivos podrían resultar contraproducente, porque individuos que en un principio estarían dispuestos a responder al cuestionario no lo harán a consecuencia de la existencia de un incentivo condicional. Sin embargo, una vez que los individuos han iniciado la encuesta, los post-incentivos son un instrumento adecuado para conseguir que la tasa de finalización (retención) sea significativamente mayor que en ausencia de tales incentivos, lo cual se sitúa en línea con los planteamientos de la Teoría del Intercambio Económico comentada anteriormente. Respecto al uso conjunto de ambos tipos de incentivos, no podemos concluir en que ello suponga una mejora significativa, ni de la tasa de respuesta, ni de la tasa de retención, aspecto que nos lleva a rechazar las hipótesis 7 y 8. Con la intención de comprobar el efecto de los incentivos sobre la calidad de la respuesta se emplearon dos variables dependientes: el número de bloques del cuestionario completados y el número de missing data en las diferentes escalas utilizadas. Además, se midió el efecto sobre los diferentes estados en los que se podía encontrar el cuestionario: inician (tasa de respuesta), abandonan (tasa de abandono) y terminan la encuesta (tasa de retención). Los análisis de la varianza realizados (factor compuesto por 4 grupos: con pre-incentivos, con postincentivos, con pre-incentivos + post-incentivos, sin incentivos) muestran que el uso las diferentes formas de incentivos no ocasionan diferencias significativas, ni en entre sí, ni con respecto a la situación de ausencia de incentivo, tanto en relación con el número de bloques iniciados (F=0,961; g.l. =3; p=0,441), como con el número de bloques iniciados y abandonados (F=1,109; g.l. =3; p=0,346) o con el número de bloques terminados (F=0,512; g.l. =3; p=0,674). A resultados similares se llega cuando se emplea el número de missing data como variable dependiente indicativa de la calidad (ver tablas siguientes). Así el número de missing data no resulta significativamente diferente para los que inician la entrevista (F=0,617; g.l. =3; p=0.604), ni para los que la abandonan (F=0,818; g.l. =3; p=0,485), ni para los que la terminan (F=0,403; g.l. =3; p=0,731). Por tanto, en relación con las hipótesis planteadas se concluye que existen evidencias que permiten rechazar las hipótesis 3, 6 y 9. De esta forma, concluimos en que ni el uso de pre-incentivos, ni de post-incentivos, ni la suma de ambos, tiene un efecto significativo sobre la calidad de la respuesta, medida en términos de número de bloques contestados y de missing data obtenidos. Finalmente, se realizó un pequeño sondeo (muestra de control) entre 139 estudiantes (aleatoriamente seleccionados entre los alumnos matriculados en la misma facultad en la que estudian los individuos participantes en este estudio) con el propósito de determinar si la muestra principal presentaba un perfil sociodemográfico significativamente diferente del perfil medio de la población objeto de estudio. En este sentido, los análisis efectuados revelaron que la muestra principal no difería significativamente de la muestra de control en lo referente a la distribución de sexos (X2=0.344; g.l.=1; p=0.557), a su perfil ideológico medio X2=0.912; g.l.=1; p=0.340, ni a su renta disponible X2=5.828; g.l.=2; p=0.054). En definitiva, estos resultados ponen de manifiesto que el uso de incentivos no ha atraído a una tipología concreta de entrevistados. Los resultados obtenidos nos permiten rechazar las hipótesis 10, 11 y 12, al no encontrar relación alguna entre el uso de los diferentes tipos de incentivos y la composición de la muestra.
12
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
6. Conclusiones El creciente uso que viene haciéndose de los estudios de opinión en los últimos años, independientemente del medio utilizado, ha traído como consecuencia una bajada generalizada en las tasas de respuesta. Ante este problema han sido muchas las iniciativas tendentes a recuperar unos niveles de respuesta que garanticen la representatividad de las muestras y, por tanto, el interés de los resultados conseguidos. Entre las iniciativas puestas en práctica destaca el empleo de incentivos, no sólo en los medios offline, sino también, en los últimos años, en los medios online. Este trabajo se ha centrado en conocer cómo el uso de una tipología concreta de incentivos (los basados en los sorteos) en las encuestas Web puede afectar tanto a la tasa de respuesta como a la calidad de la misma. La razón de la elección de este tipo de incentivos es que al ser menos costosos que los incentivos directos, se ha creado una "cultura de las encuestas" en la que la gente es más proclive a los sorteos que a los incentivos individuales (Bosnjak y Tuten, 2003). Hasta la fecha ha existido cierta controversia en relación con la utilidad de los incentivos, no siendo pocas las ocasiones en las que se ha propuesto que los recursos invertidos en los incentivos serían mucho más productivos si se destinaran a otros fines en la investigación, o incluso que se podría conseguir mayor eficiencia si directamente se prescindiese de los mismos (Porter y Whithcomb, 2003). En este trabajo se ha puesto de manifiesto que los incentivos pueden ser eficaces en la mejora de las tasas de respuesta y retención, si se ofrecen de forma no contingente a la finalización del cuestionario (pre-incentivos). En este sentido, los resultados están en la línea que la perspectiva psicológica y la Teoría del Intercambio Social (Dillman, 1996; Cialdini, 1984) Por el contrario, el efecto sobre la tasa de respuesta de los incentivos basados en sorteos ofrecidos a condición de la finalización del cuestionario (post incentivos) es nulo, si bien no ocurre lo mismo con la tasa de retención. Finalmente, ninguno de los dos tipos de incentivos proporciona mejoras en la calidad de respuesta, medida en términos de bloques de preguntas finalizados y de missing data obtenidos. Un resultado en cierto modo sorprendente ha sido que el uso conjunto de pre-incentivos y postincentivos, si bien mejora ligeramente las tasas de respuesta y retención en comparación con la situación de no uso de incentivo alguno, cosecha unos resultados peores a lo obtenidos cuando se usan pre-incentivos o post-incentivos de manera independiente. La justificación de esta reducción en la tasa de respuesta asociada a la combinación pre + post puede encontrarse en sus efectos sobre la confianza del encuestado tanto en términos de la veracidad del sorteo como en relación con la limpieza de la misma (Porter y Whitcomb, 2003). Efectivamente, el uso excesivo de premios por la participación en encuestas, aunque éstos estén basados en sorteos, puede hacer dudar a los encuestados de la veracidad de los mismos, por lo que en este caso la acumulación de posibles premios ha resultado ser contraproducente. Esta situación puede ser explicada en cierta medida por la Teoría Reactante (Brhem y Brehm, 1981). En lo que respecta a la composición de la muestra final, no se puede decir que el uso de incentivos haya atraído a una tipología concreta de entrevistados. Para comprobar este hecho se realizó un sondeo de control que puso de relieve que el perfil sociodemográfico de los diferentes grupos experimentales (correspondientes a las distintas combinaciones de incentivos) no presenta diferencias significativas. Esto ayuda a concluir, en línea con lo expresado por Fricker et al. (2005), que el uso de incentivos basados en sorteos en las encuestas Web no contribuye a incrementar los errores de no observación y medida, que tradicionalmente ha sido una de los principales inconvenientes atribuidos a las encuestas a través de Internet. Por último, el hecho de haber empleado pre-incentivos con un valor diferente a los post-incentivos puede haber influido en los resultados. Efectivamente, el pre-incentivo estaba valorado en 350€ [1/1654 x 350€ =0,2116], mientras que los post-incentivos eran 7 premios de 120€ [7x4x120/10.000=0,336], si bien la probabilidad de conseguir el pre-incentivo era sensiblemente inferior a la de conseguir el post-incentivo. Sin embargo, siguiendo los principios de Tuten et al. (2004), el beneficio esperado entre ambos incentivos era equiparable.
13
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
En futuros trabajos se equilibrará tanto el valor de incentivo como la probabilidad de resultar agraciado para comprobar con mayor fiabilidad el efecto de los mismos, así como la aplicación de este diseño experimental a otros tipos de usuarios para contrastar la generalización de los resultados obtenidos.
Referencias bibliográficas AOKI, K. Y ELASMAR, M. (2000). “Opportunities and challenges of conducting web-surveys: Results of a field experiment”, 55th Annual Meeting of American Association for Public Opinion Research, May 18-21. Portland, Oregon. BAUMAN, S.; JOBITY, N.; AIREY, J. Y ATAK, H. (2000). “Invites, intros and incentives: Lessons from a web survey”, 55th Annual Conference of American Association for Public Opinion Research. May 18-21. Portland, Oregon. BIRNBAUM, M. H. (2001). “A web-based program of research on decision making”, In U. D. REIPS, Y M. BOSNJAK (EDS.), Dimensions of internet science (pgs. 23-55). Lengerich, Germany: Pabst Science Publishers. BIRNHOLTZ, J. P.; HORN, D. B.; FINHOLT, T. A. Y BAE, S. J. (2004). “The effects of cash, electronic, and paper gift certificates as respondent incentives for a web-based survey of technologically sophisticated respondents”, Social Science Computer Review, Vol. 22, nº 3, pgs. 355-362. BORNSTEIN, B. H. (1999). “The ecological validity of jury simulations: Is the jury still out?”, Law and Human Behavior, Vol. 23, nº 1, pgs. 75-92. BOSNJAK, M. Y TUTEN, T. L. (2001). “Classifying response behaviors in web-based surveys”, Journal of Computer Mediated Communication. Disponible en: www.ascuse.org/jeme/vol6/issue3/boznjak.html BOSNJAK, M. Y TUTEN, T. L. (2003). “Prepaid and promised incentives in web surveys: An experiment”, Social Science Computer Review, Vol. 21, nº 2, pgs. 208-217. BREHM, S.S. Y BREHM, J.W. (1981): A theory of psychological reactance. New York: Academic Press. CHANG, L. Y KROSNICK, J. (2003). “National surveys via RDD telephone interviewing vs. the Internet: Comparing sample representativeness and response quality”, Paper presented at the American Association for Public Opinion Research 58th Annual Meeting, Phoenix, Arizona. CHO, H. Y LAROSE, R. (1999). “Privacy issues in internet surveys”, Social Science Computer Review, Vol. 17, nº4, pgs. 421434. COBANOGLU, C. Y COBANOGLU, N. (2003). “The effect of incentives in web surveys: Application and ethical considerations”, International Journal of Market Research, Vol. 45, nº 4, pgs. 475-488. COBANOGLU, C.; WARDE, B. Y MOREO, P. J. (2001). “A comparison of mail, fax and web-based survey methods”, International Journal of Market Research, Vol. 43, nº 4, pgs. 441-452. CODERRE, F.; MATHIEU, A. Y ST-LAURENT, N. (2004). “Comparison of the quality of qualitative data obtained through telephone, postal and email surveys”, International Journal of Market Research, Vol. 46, nº 3, pgs. 347-357. COOK, C.; HEATH, F. Y THOMPSON, R. L. (2000). “A meta-analysis of response rates in web- or internet-based surveys”, Educational and Psychological Measurement, Vol. 60, nº 6, pgs. 821-836. COUPER, M. P. (2000). “Web surveys: A review of issues and approaches”, Public Opinion Quarterly, Vol. 64, nº 4, pgs. 464494. COUPER, M. P. ; TRAUGOTT, M. W. Y LAMIAS, M. J. (2001). “Web survey design and administration”, Public Opinion Quarterly, Vol. 65, nº2, pgs. 230-253. CRAWFORD, S.; MCCABE, S.; COUPER, M. P. Y BOYD, C. (2002). “From mail to web: Improving response rates and data collection efficiencies”, International Conference on Improving Surveys. Copenhagen, Denmark. DEUTSKENS, E. ; DE RUYTER, K. Y WETZELS, M. (2006). “An assessment of equivalence between online and mail surveys in service research”, Journal of Service Research, Vol. 8, nº 4, pgs. 346-355. DEUTSKENS, E.; DE RUYTER, K.; WETZELS, M. Y OOSTERVELD, P. (2004). “Response rate and response quality of internetbased surveys: An experimental study”, Marketing Letters, Vol. 15, nº 1, pgs. 21-36. DILLMAN, D. A. (2000). Mail and Internet Surveys: The Total Design Method. New York: Wiley. DILLMAN, D. A.; SINGER, E.; CLARK, J. R. Y TREAT, J. B. (1996). “Effects of benefits appeals, mandatory appeals, and variations in statements of confidentiality on completion rates for census questionnaires”, Public Opinion Quarterly, Vol 60, nº 3, pgs. 376-389. DOWNES-LE GUIN, T.; JANOWITZ, P.; STONE, R. Y KHORRAM, S. (2002). “Use of pre-incentives in an internet survey”, Journal http://www.ijor.org/ijor_archives/articles/Use_of_preof Online Research, pgs. 1-7. Disponible en incentives_in_an_internet_survey.pdf
14
ANÁLISIS DEL EFECTO DE INCENTIVOS BASADOS EN SORTEOS SOBRE LA RESPUESTA …
FINK, J. C. (1983). “CATI’s first decade: The Chilton experience”, Sociological Methods y Research, Vol. 12, nº 2, pgs. 153168. Flaherty, L. M.; Pearce, K. J. Y Rubin, R.B. (1998). “Internet and face-to-face communication: Not functional alternatives”, Communication Quarterly, Vol. 46, nº 3, pgs. 250-268. FRICK, A.; BÄCHTIGER, M. T. Y REIPS, U. D. (2001). “Financial incentives, personal information and drop-out rate in online studies”, In U. D. Reips, Y M. Bosnjak (Eds.), Dimensions of internet science (pgs. 209-219). Lengerich, Germany: Pabst Science. FRICKER, S.; GALESIC, M., TOURANGEAU, R. Y YAN, T. (2005). “An experimental comparison of web and telephone surveys”, Public Opinion Quarterly, Vol. 69, nº 3, pgs. 370-392. GOETZ, E.G.; TYLER, T.R. Y LOMAX COOK, F.L. (1984). “Promised Incentives in Media Research: A Look at Data Quality, Sample Representativeness, and Response Rate”, Journal of Marketing Research, Vol. 21, nº 2, pgs. 148-154. GÖRITZ, A. S. (2004). “The impact of material incentives on response quantity, response quality, sample composition, survey outcome, and cost in online access panels”, International Journal of Market Research, Vol. 46, nº 3, pgs. 327-345. GÖRITZ, A. S. (2005). “Contingent versus unconditional incentives in WWW-studies”, Metodolosky Zvezki, Vol. 2, nº 1, pgs. 1-14. GÖRITZ, A. S. (2006A). “Cash lotteries as incentives in online panels”, Social Science Computer Review, Vol. 24, nº 4, pgs. 445-459. GÖRITZ, A. S. (2006B). “Incentives in web studies: Methodological issues and review”, International Journal of Internet Science, Vol. 1, nº 1, pgs. 58-70. GROVES, R. M.; CIALDINI, R. B. Y COUPER, M. P. (1992). “Understanding the decision to participate in a survey”, Public Opinion Quarterly, Vol. 56, nº 4, pgs. 475-495. HEERWEGH, D. (2005). “Effects of personal salutations in E-mail invitations to participate in a web survey”, Public Opinion Quarterly, Vol. 69, nº 4, pgs. 588-598. HEERWEGH, D. (2006). “An investigation of the effect of lotteries on web survey response rates”, Field Methods, Vol. 18, nº 2, pgs. 205-220. HEERWEGH, D. Y LOOSVELDT, G. (2002). “Web surveys: The effect of controlling survey access using PIN numbers”, Social Science Computer Review, Vol. 20, nº 1, pgs. 10-21. HEERWEGH, D. Y LOOSVELDT, G. (2003). “An evaluation of the semiautomatic login procedure to control web survey access”, Social Science Computer Review, Vol. 21, nº 2, pgs. 223-234. HEERWEGH, D.; VANHOVE, T.; MATTHIJS, K. Y LOOSVELDT, G. (2005). “The effect of personalization on response rates and data quality in web surveys”, International Journal of Social Research Methodology, Vol. 8, nº 2, pgs. 85-99. ILIEVA, J.; BARON, S. Y HEALEY, N. M. (2002). “Online surveys in marketing research: Pros and cons”, International Journal of Market Research, Vol. 44, nº 3, pgs. 361-382. JOINSON, A. N. (1999). “Social desirability, anonymity, and internet-based questionnaires”, Behavior Research Methods, Instruments, y Computers, Vol. 31, nº 3, pgs. 433-438. KAPLOWITZ, M. D.; HADLOCK, T. D. Y LEVINE, R. (2004). “A comparison of web and mail survey response rates”, Public Opinion Quarterly, Vol. 68, nº 1, pgs. 94-101. KELLY, G. Y MCKENZIE, B. (2002). “Security, privacy, and confidentiality issues on the internet”, Journal of Medical Internet Research, Vol. 4, nº 2, e12. MCCABE, S. E.; COUPER, M. P.; CRANFORD, J. A. Y BOYD, C. J. (2005). “Comparison of web and mail surveys for studying secondary consequences associated with substance use: Evidence for minimal mode effects”, Addictive Behaviors, Vol. 31, nº 1, pgs. 162-168. MUSCH, J. Y REIPS, U. D. (2000). “The brief history of web experimenting: A survey”, Psychology experiments on the internet (Birnbaum, M.H. ed., pgs. 61-87). San Diego. C.A.: Academic Press. O'NEIL, K. M. Y PENROD, S. D. (2001). “Methodological variables in web-based research that may affect results: Sample type, monetary incentives, and personal information”, Behavior Research Methods, Instruments, & Computers, Vol. 33, nº 2, pgs. 226-233. O'NEIL, K. M.; PENROD, S. D. Y BORNSTEIN, B. H. (2003). “Web-based research: Methodological variables´ effects on dropout and sample characteristics”, Behavior Research Methods, Instruments, & Computers, Vol. 35, nº 2, pgs. 217-226. PORTER, S. R. Y WHITCOMB, M. E. (2003a). “The impact of contact type on web survey response rates”, Public Opinion Quarterly, Vol. 67, nº 4, pgs. 579-588. PORTER, S. R. Y WHITCOMB, M. E. (2003b). “The impact of lottery incentives on student survey response rates”, Research in Higher Education, Vol. 44, nº 4, pgs. 389-407.
15
J. SÁNCHEZ FERNÁNDEZ, F. MUÑOZ LEIVA, J.A. IBÁÑEZ ZAPATA, F.J. MONTORO RÍOS
ROSTER, C. A.; ROGERS, R. D. Y ALBAUM, G. (2004). “A comparison of response characteristics from web and telephone surveys”, International Journal of Market Research, Vol 46, nº 3, pgs. 359-373. ROZTOCKI, N. (2001). “Using internet-based surveys for academic research: Opportunities and problems”, Proceedings of the 2001 American Society for Engineering Management (ASEM) National Conference, 2001, pgs. 290-295. SEARS, A. (2000). “Introduction: Empirical studies of WWW usability”, International Journal of Human-Computer Interaction, Vol 12, nº 2, pgs. 167-171. SHEEHAN, K. B. (2001). “E-mail survey response rates: A review”, Journal of Computer-Mediated Communication, Vol 6, nº 2, Disponible en: http://www.ascusc.org/jcmc/vol6/issue2/sheehan.html. SHEEHAN, K. B. Y HOY, M. G. (1999). “Flaming, complaining, abstaining: How online users respond to privacy concerns”, Journal of Advertising, Vol. 28, nº 3, pgs. 37-51. SHEEHAN, K.B. Y MCMILLAN, S.J. (1999). “Response Variation in E-Mail Surveys: An Exploration”, Journal of Advertising Research, Vol. 39, nº4, pgs. 45-54. SMYTH, J. D.; DILLMAN, D. A.; CHRISTIAN, L. M. Y STERN, M. J. (2006). “Comparing check-all and forced-choice question in web surveys”, Public Opinion Quarterly, Vol. 70, nº 1, pgs. 66-77. TOURANGEAU, R.; RIPS, L. J. Y RASINSKI, K. (2000). The psychology of survey response. Cambridge University Press. TUTEN, T. L.; BOSNJAK, M. Y BANDILLA, W.: (2000). “Banner-Advertised Web Surveys”, Marketing Research, Vol. 11, nº 4, pgs. 17-21. TUTEN, T. L.; GALESIC, M. Y BOSNJAK, M. (2004). “Effects of immediate versus delayed notification of prize draw results on response behaviour in web surveys: An experiment”, Social Science Computer Review, Vol. 22, nº 3, pgs. 377-384. WEIBLE, R. Y WALLACE, J. (1998). “Cyber research: The impact of the Internet on data collection”, Marketing Research, Vol. 10, nº 3, pgs. 19-24. YUN, G. W. Y TRUMBO, C. W. (2000). “Comparative response to a survey executed by post, e-mail, and web form”, Journal of Computer-Mediated Communication, Vol. 6, nº 1, pgs. 1-11.
16
