Adaptation à la maladie de Lyme: comparaison des modes de collectes de données par téléphone et web - Mémoire Grace Ngambo Domche Maîtrise en ...
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Adaptation à la maladie de Lyme: comparaison des
modes de collectes de données par téléphone et web
Mémoire
Grace Ngambo Domche
Maîtrise en mesure et évaluation - avec mémoire
Maître ès arts (M.A.)
Québec, Canada
© Grace Ngambo Domche, 2021Adaptation à la maladie de Lyme:
Comparaison des modes de collectes de données par
téléphone et web
Mémoire
Grâce Ngambo
Sous la direction de :
Pierre Valois, directeur de rechercheRésumé
Le mode de collecte web gagne de plus en plus de popularité depuis sa création, ceci notamment
en raison des avantages qu’il apporte en termes de coût et de temps. Cependant, les tendances non-
probabilistes des échantillons web font souvent douter de leur capacité à fournir des résultats aussi
représentatifs que ceux d’un mode traditionnel typique tel que le téléphone. Le but de ce mémoire
est de comparer les modes non-probabiliste web et probabiliste téléphone souvent suggérés par les
firmes de sondage au Québec. Nous analysons principalement les éventuelles différences entre les
échantillons web et téléphone du point de vue de l’adaptation à la maladie de Lyme. Plus
spécifiquement, les trois objectifs de l’étude sont de : (1) comparer la représentativité des deux
échantillons avec les données du recensement en termes de caractéristiques sociodémographiques,
(2) comparer ces modes d’enquête en ce qui concerne l’estimation des taux d’adoption de
comportements préventifs à l’égard de la maladie de Lyme tel que rapportés par les répondants
aux deux sondages, et (3) tester l’invariance de la mesure des comportements préventifs des
échantillons non probabiliste (panel Web) et probabiliste (téléphone). Les données proviennent
d’une étude sur les comportements d’adaptation à la maladie de Lyme. Les échantillons panel Web
(n=956) et téléphone (n=1003) sont constitués de résidents québécois de 18 ans et plus habitant
les régions de risques faible à significatif. Les résultats montrent premièrement qu’aucun des
échantillons n’est représentatif de la population cible au regard des caractéristiques
sociodémographiques telles que rapportées dans le recensement canadien de 2016. Deuxièmement,
nos résultats indiquent que le taux de non-réponse aux comportements préventifs d’adaptation à la
maladie et autres variables associées est significativement plus élevé dans l’échantillon web.
Cependant, la magnitude de cette différence est nulle pour 19 items sur 30, et faible pour les 11
autres. De plus, aucune différence importante n’a été relevée lors de la comparaison des deux
échantillons du point de vue de l’estimation de la prévalence desdits comportements et leurs
déterminants. Enfin, les analyses d’invariance de l’indice d’adaptation ou de prévention à l’égard
de la maladie de Lyme révèle que la structure de l’indice est la même pour les deux échantillons.
On en conclut que malgré certaines différences observées entre les modes web et téléphone, les
répondants des deux échantillons ont tendance à adopter des comportements similaires
d’adaptation à la maladie de Lyme.
iiAbstract
The web data collection mode has been increasing in popularity since its creation, primarily due
to its cost and time effective benefits. However, its non-probabilistic tendencies often bring doubts
concerning the representativity of its results in comparison to a typical mode such as the telephone.
This master’s thesis compares the non-probability web and probability telephone modes, often
suggested by polling firms in the province of Quebec. It principally analyzes the eventual
differences between both samples on their adaptation to the Lyme disease. More specifically, the
three main goals of this study are: (1) to compare the representativeness of both samples with the
census data in terms of their socio-demographic characteristics, (2) to compare those two survey
modes regarding their respondents’ preventive behaviour estimates against the Lyme disease, and
(3) to test the measurement invariance of the nonprobability (Web panel) and probability
(telephone) samples’ preventive behaviour. The data comes from a study on the adaptation of
prevention behaviors against Lyme disease. The web (n=956) and telephone samples (n=1003) are
made of individuals, 18 years old and above, from low and significant risk regions. Results firstly
reveal that neither survey is representative of the Canadian census of 2016. Secondly, results show
that the non-response rate for Lyme disease prevention adaptive behaviors and other associated
variables is higher in the web survey. However, the magnitude of this significance is nil for 19 out
of 30 the items, and small for the other 11. Moreover, no important dissimilarities were found in
comparing both samples’ estimates in terms of the behaviours’ prevalence and their determinants.
Finally, the measurement invariance analyses on the index of adaptation to the Lyme disease show
a similar structure of the index for both samples. In conclusion, although the web and telephone
samples are different in some respects, their respondents tend to have similar behaviors of
adaptation to the disease.
iiiTable des matières
Résumé ......................................................................................................................................................... ii
Abstract ........................................................................................................................................................ iii
Liste des tableaux.......................................................................................................................................... v
Liste des sigles .............................................................................................................................................. vi
Remerciements ........................................................................................................................................... vii
Introduction .................................................................................................................................................. 1
Contexte théorique de l’étude...................................................................................................................... 6
Le mode de collecte de données web ...................................................................................................... 6
Le mode de collecte de données par téléphone ...................................................................................... 8
Recension des écrits................................................................................................................................ 10
Chapitre 1: Telephone versus web panel national survey for monitoring adoption of preventive
behaviors to climate change in population: a case study of Lyme disease in Quebec, Canada ................. 15
1.1 Abstract: ...................................................................................................................................... 16
1.2 Background ................................................................................................................................. 17
1.3 Methods ...................................................................................................................................... 20
1.4 Results ......................................................................................................................................... 24
1.5 Discussion.................................................................................................................................... 29
1.6 Conclusions ................................................................................................................................. 32
1.7 References ........................................................................................................................................ 33
1.8 Tables ................................................................................................................................................ 39
1.9 Additional files .................................................................................................................................. 48
Discussion.................................................................................................................................................... 55
2.1 Synthèse des résultats obtenus ........................................................................................................ 55
2.2 Interprétation sur les résultats obtenus ........................................................................................... 57
2.3 Forces et limites de l’étude ............................................................................................................... 59
2.4 Conclusion ......................................................................................................................................... 59
Références .................................................................................................................................................. 62
ivListe des tableaux
Table 1. Description of the variables measured ......................................................................................... 39
Table 2. Threscholds for the interpretation of Cohen's and Cramer's V .................................................... 42
Table 3. Item Non-Responses for the Sociodemographic Variables in the Web and Telephone Surveys 42
Table 4. Comparison of the Telephone and Web Survey Data with the Census Data Regarding
Sociodemographic Variables ...................................................................................................................... 43
Table 5. Comparison of weighted item responses from the Web and Telephone Surveys on Lyme Disease
Exposure ..................................................................................................................................................... 44
Table 6. Comparison of the Weighted Mean of the Web Survey with the Telephone Survey on Lyme-
Disease-Related Variables .......................................................................................................................... 45
Table 7. Measurement Invariance of the Index of Adaptation ................................................................... 47
Table 8. Quotas originally provided to the polling firm............................................................................. 48
Table 9. Samples’ actual numbers per region ............................................................................................ 49
Table 10. Socio-demographic characteristics: comparing weighted web/phone samples and census ....... 50
Table 11. Comparison of the unweighted item non-responses of the Web and Telephone Surveys on
Lyme Disease Exposure .............................................................................................................................. 52
vListe des sigles
OQACC Observatoire québécois d’adaptation aux changements climatiques
HTML Hypertext markup language
RDD Random digit dialing
ANOVA Analysis of variance
PCE Procedure de concordance exacte
LDPB Lyme disease prevention behavior
ESS Effective sample size
CFI Comparative fit index
TLI Tucker-Lewis index
RMSEA Root mean squared error of approximation
FET Fisher’s exact test
viRemerciements
Je veux tout d’abord témoigner toute ma reconnaissance à mon Dieu Le grand Yahweh pour qui
et par qui j’ai eu la capacité de rentrer dans ce projet de maîtrise et de l’achever. Merci Seigneur
de tout mon cœur. Tu as rendu l’impossible possible encore une fois dans ma vie.
Je veux ensuite dire un énorme merci à Pierre Valois mon directeur de recherche, de m’avoir donné
l’opportunité de rentrer dans ce projet. Merci du fond du cœur de m’avoir confié une telle tâche.
Tes encouragements et ta patience m’ont été d’un grand réconfort, et tes conseils judicieux m’ont
été d’une aide précieuse.
Je tiens à exprimer ma reconnaissance envers M. Claude Bélisle qui m’a référé à mon directeur de
recherche Pierre, pour ce projet de maîtrise. Cette belle aventure a commencé grâce à la foi que
vous avez eu en moi et ça je ne l’oublierai jamais.
À toi ma chère et tendre maman Marie-Josée Ngambo, Je dis merci. Pour les petites tapes dans le
dos dans mes temps de procrastination, pour tes encouragements et pour le fait d’avoir cru en moi
jusqu’au bout. Je ne pense pas que j’y serais arrivée sans toi.
À mon cher papa Jean-Baptiste Ngambo, à mes sœurs adorées Gabrielle Ngambo et Kelly Garvin,
à mon oncle Marcel Meli et ma tante Yvonne Meli, merci pour le soutien non négligeable que vous
avez été tout au long du cheminement.
Enfin, à toute l’équipe de l’OQACC, merci pour votre aide et votre soutien. Merci pour la belle
atmosphère de travail et votre bonne humeur. Que Dieu vous bénisse tous.
viiIntroduction
Contexte
Dans les huit dernières décennies sont apparus les quatre principaux modes de
collecte de données utilisés à l’heure actuelle. Des années 1940, marquant la recherche par
sondage par l’expansion des modes face à face et par voie postale, aux années 1970, qui ont
connu la création et l’essor du mode par téléphone et à l’apparition 20 ans plus tard du mode
web, chaque mode a connu sa période de popularité (Couper & Miller, 2008). Cette évolution
constante et cette transition en popularité d’un mode à l’autre de la recherche par sondage
s’explique en grande partie par une tendance naturelle à suivre la société constamment en
mouvement, notamment au niveau technologique.
Le mode téléphone en son temps se démarquait des autres, particulièrement à cause
de sa rapidité d’exécution, sachant qu’il était équivalent au mode face à face en termes de
qualité des données (Couper, 2011). Le mode web venu par la suite a en très peu de temps
impacté la recherche par sondage d’une façon profonde (Couper & Miller, 2008). L’attention
méthodologique qu’il a reçue jusqu’à présent a surpassé celle qu’ont eue les autres modes en
leur temps.
Ainsi, le mode par téléphone qui était encore récemment le plus utilisé parmi les
modes traditionnels se voit de plus en plus mis à l’écart en faveur du mode web (Tourangeau,
Conrad & Couper, 2013). Ceci s’explique par le fait que le mode web se démarque beaucoup
par la rapidité de son processus de collecte et d’envoie des résultats et par son coût
significativement plus bas que celui des modes traditionnels face à face, voie postale et
téléphone (Bethlehem, 2008; Braunsberger, Wybenga & Gates, 2007; Fan & Yan, 2010;
PewResearchCenter, May 2015; Wright, 2005). Ce sont des avantages importants qui
influencent souvent les enquêtes par sondage dans le choix du mode de collecte à favoriser.
Problème posé
Dans le processus de réalisation d’une enquête par sondage, une des principales
étapes de démarrage consiste en la sélection d’un mode de collecte de données approprié.
C’est une étape fondamentale qui influencera la qualité des données. Concernant le mode
web, est-il comparable aux modes traditionnels quant à la qualité des données qu’il livre?
1Bien que populaire en recherche par sondage, le mode web connaissait encore il y a 10 ans
une certaine résistance due à des incertitudes concernant la qualité de ses données. Cette
méfiance s’explique par les différences qui ont été observées entre le mode web et les modes
traditionnels (Chang & Krosnick, 2009; Solomon, 2000), différences qui peuvent se traduire
en avantages et inconvénients du mode web.
Le mode web recèle d’attrayants avantages. En plus de son coût significativement
plus bas et de sa rapidité opérationnelle, on peut relever l’absence du biais de l’interviewer
qui est parfois dû à des malentendus entre ce dernier et le répondant, à de mauvaises habitudes
chez l’interviewer, etc. (Chang & Krosnick, 2009; Tourangeau et al., 2013). Par ailleurs, avec
le mode web, le répondant peut compléter un questionnaire à son rythme. Il a la possibilité
de relire une question qu’il n’a pas comprise, prendre une pause ou sauter une question et y
revenir plus tard. Ainsi, la pression de devoir répondre à une question dans un court laps de
temps est moins élevée chez le répondant du mode web (Chang & Krosnick, 2009;
PewResearchCenter, May 2015). De plus, il est bien connu que la désirabilité sociale qui
affecte souvent les enquêtes ayant recours à un intervieweur est moindre chez les enquêtes
utilisant un questionnaire auto-administré (Gingras & Belleau, 2015; Sarracino, Riillo &
Mikucka, 2017; Stephenson & Crête, 2010; Tourangeau et al., 2013). Ceci s’explique par la
volonté des répondants interviewés de présenter une image socialement acceptable d’eux-
mêmes devant leur interlocuteur, contrairement aux personnes qui répondent à un
questionnaire auto-administré qui ont un plus grand sentiment de confidentialité. Ces derniers
ont alors tendance à être plus ouverts et honnêtes dans leurs réponses (Fricker, Galesic,
Tourangeau, & Yan, 2005; Zhang, Kuchinke, Woud, Velten, & Margraf, 2017).
La méthode de sondage web présente aussi des inconvénients non négligeables,
comme son taux de réponse généralement plus faible que celle par téléphone (Roster, Rogers,
Albaum, & Klein, 2004; Tourangeau et al., 2013), ou encore la tendance des internautes à
avoir un profil différent des autres membres de la population. On constate que les premiers
sont généralement moins âgés, plus éduqués, avec un revenu plus élevé (Gauvin, 2012; Le
Cefrio, 2015; Porter & Donthu, 2006). Ce constat soulève une certaine inquiétude quant au
niveau de la représentativité des échantillons collectés en mode web par rapport à la
population. De plus l’absence de l’intervieweur peut être problématique lorsque le répondant
2à besoin de plus d’éclairage sur la question posée. L’influence positive que peut apporter un
intervieweur par son intonation et son intérêt pour le sujet d’enquête est manquante. Enfin,
un répondant ayant du mal à lire ou à écrire sera difficilement inclus au sondage web (Chang
& Krosnick, 2009). Ceci est un inconvénient important à considérer lorsqu’on sait que 20%
de la population de la province du Québec de 16 à 65 ans est estimé comme n’étant que de
niveau 1 ou moins en 2012 (5 étant le plus haut niveau) en compréhension de texte et
numératie (Desrosiers, Nanhou, & Ducharme, 2015).
On a relevé que les biais dus à la qualité des données (tels que des taux de réponse
bas et les biais de couverture) des modes de collecte traditionnels sont une source
d’inquiétude grandissante, plus spécifiquement celui du téléphone (Breton, Cutler, Lachance,
& Mierke-Zatwarnicki, 2017; Sala & Lillini, 2015; Sarracino et al., 2017). Ceci peut
s’expliquer notamment par l’arrivée de nouveaux moyens tels que des envois massifs de
courrier et les activités de télémarketing souvent accablantes, ainsi que la possibilité de
filtrage des appels à l’aide d’écrans d’affichage. Ces nouveaux éléments réduisent la capacité
à persuader les répondants de participer aux enquêtes (Braunsberger et al., 2007; Grandjean,
Nelson, & Taylor, 2009). D’un autre côté, on observe une expansion sûre et constante
d’internet année après année, qui très possiblement mènera à l’amélioration de la
représentativité des échantillons web (Institut de la Statistique du Québec, 2013; Poushter,
2016; Sterrett, Malato, Benz, Tompson, & English, 2017).
Bien qu’il existe dans la littérature un certain nombre d’études de comparaison entre
le mode web et les modes traditionnels, l’évolution continuelle de la société notamment au
plan technologique influence inévitablement la qualité des données. L’actualité des
changements observés est ce qui rend pertinent le problème posé ici.
Buts et objectifs
L’étude rapportée ici tente de fournir une réponse à la question de savoir s’il existe
une différence entre le mode web et le mode par téléphone du point de vue des résultats
observés et de la représentativité de l’échantillon. Nous avons choisi ces deux modes à cause
de leur popularité au sein des firmes de sondage québécoises. Il s’ensuit donc que l’étude a
été réalisée dans la province du Québec. Les données ont été collectées lors d’une étude sur
3les comportements d’adaptation à la maladie de Lyme (Valois et al., s. d.), réalisée par
l’OQACC (Observatoire Québécois d’adaptation aux changements climatiques).
Afin de répondre au problème posé, nous examinons en premier la représentativité des deux
échantillons web et téléphone par rapport à la population du Québec du point de vue de
certaines caractéristiques sociodémographiques, soit l’âge, le sexe, le plus haut niveau
d’éducation atteint, la taille du ménage, la présence ou non d’enfants dans le ménage et le
revenu annuel du ménage. L’évaluation de la représentativité de nos échantillons se base sur
les résultats du recensement de 2016. Ensuite nous comparons les échantillons du point de
vue des prévalences estimées des comportements d’adaptation à la maladie de Lyme et
d’autres variables théoriquement associées. Enfin, nous testons l’invariance métrique d’un
indice d’adaptation à la maladie entre le sondage web est le sondage par téléphone. Le but
du test de l’invariance est de déterminer si les résultats de la mesure de l’indice varient selon
le mode de collecte de données. Il est souhaité que les résultats soutiennent l’invariance de
l’indice. Dans le cas contraire, les décisions des services de santé sur les mesures de
protection à promouvoir ou renforcer pour se protéger des piqûres de tiques varieraient selon
le mode de collecte de données utilisé. Les analyses répondant à ces objectifs sont effectuées
sur les données non-pondérées, et reprises sur les données pondérées afin de pallier un
éventuel problème de non-représentativité.
Ampleur de l’étude pour le domaine de recherche et le champ de mesure et évaluation
Apport au domaine de recherche
Bien que des études similaires aient déjà été menées sur le sujet (Chang & Krosnick,
2009; Fricker et al., 2005; Nantel & Lafrance, 2006; PewResearchCenter, 2015; Roster et al.,
2004; Xing & Handy, 2014), il n’existe aucun consensus permettant de favoriser un mode
par rapport à l’autre. Par ailleurs, avec la croissance constante du taux d’utilisation d’internet
et la diminution constante du nombre de familles équipée d’un téléphone fixe (Link,
Battaglia, Frankel, Osborn & Mokdad, 2007; Mohorko, De Leeuw & Hox, 2013; Nantel &
Lafrance, 2006; Vicente, Reis & Santos, 2009), il est important de maintenir un suivi de
l’évolution de la qualité des données provenant du mode web. Des études ont démontré une
diminution dans le temps du nombre de familles équippées d’une ligne fixe en faveur de
l’usage exclusif de cellulaires. Ceci pourrait donner lieu à des échantillons non probabilistes
4et engendrer des biais compromettant ainsi la validité des résultats. C’est en prennant en
compte ces changements continuels, tant au niveau du mode web que celui par téléphone,
que l’on peut juger de l’importance d’une étude supplémentaire sur ce sujet pour le domaine
de recherche.
Apport au champ de mesure et évaluation
En mesure et évaluation, la collecte des données est une des étapes nécessaires à la
mesure et l’évaluation d’un outil donné. Le mode de collecte utilisé aura une influence sur la
qualité des données. La mesure d’un construit peut être tout à fait fiable en temps normal,
mais donner des résultats différents selon le contexte dans lequel il a été administré. Par
exemple, le biais de désirabilité sociale peut affecter les résultats, selon que le questionnaire
a été auto-administré ou que le sujet a été assisté par un interviewer (Gingras & Belleau,
2015; Sarracino et al., 2017; Stephenson & Crête, 2010; Tourangeau et al., 2013). Dans un
tel scénario, le test en lui-même est fidèle, mais les résultats divergeront du fait du mode de
collecte employé.
Une étude de comparaison des modes web et téléphone permet de déterminer si en
plus de l’avantage que le sondage web offre en termes de temps et de coût, il fournit
également des données favorisant des résultats généralisables à la population étudiée.
Structure du mémoire
Le mémoire est structuré de la manière suivante : Une première partie porte sur le
contexte théorique de l’étude. Elle est composée d’une présentation du mode de collecte web,
puis du mode de collecte par téléphone et enfin d’une recension des écrits sur des résultats
d’études similaires à celle-ci et sur différents outils de comparaison des modes de collecte.
La deuxième partie contient l’article dont cette étude a fait l’objet. Finalement une troisième
partie contient la discussion dans laquelle est fait un bilan des résultats observés selon les
objectifs préalablement fixés, ainsi qu’un état des forces et limites de l’étude, de son
implication, et de suggestions de recherches futures.
5Contexte théorique de l’étude
Le mode de collecte de données web
Le mode web est une méthode de collecte des données par internet, selon laquelle les
questionnaires sont remplis sur des pages en langage hypertexte (HTML) du « World Wide
Web ». Les sujets ciblés sont généralement contactés et invités à participer au sondage soit
dans un courriel incluant le lien vers la page web du questionnaire, soit par une lettre à la
poste contenant l’adresse du site contenant le questionnaire, ou encore lors d’une visite de
ces derniers sur un site internet.
Le moyen de contact de sujets potentiels dépend du type de sondage web qu’on veut
utiliser. Les types de sondages web peuvent être regroupés en deux catégories majeures
(Couper, 2000; Tourangeau et al., 2013) : les sondages web probabilistes et les sondages web
non probabilistes. Le premier groupe se distingue du deuxième en ce qu’il permet que tous
les membres de la population aient la même chance d’être recrutés dans l’échantillon.
Selon Couper (2000), la catégorie des sondages web probabilistes inclut ceux dont :
- l’échantillon est constitué de visiteurs d’un site internet spécifique, aléatoirement
recrutés à l’aide d’une fenêtre d’invitation pop-up;
- les participants appartiennent à une liste d’individus représentant une population bien
définie recrutés par courriel ou par la poste (p. ex. les étudiants d’une université);
- l’option de compléter le questionnaire par le web est offerte aux membres de
l’échantillon lors d’un premier contact par un autre moyen (p. ex. par téléphone, par
la poste, etc.);
- l’échantillon fait partie d’un panel constitué exclusivement de membres de la
population des internautes contactés initialement par une méthode de sondage
probabiliste telle que la composition aléatoire ou « random digit dialing » (RDD) en
anglais. Il est probabiliste dans la mesure où la population visée est uniquement
celle des usagers d’internet;
- l’échantillon fait partie d’un panel probabiliste représentatif de la population
complète (internautes et non-internautes). En premier lieu, le panel est constitué à
6l’aide d’une méthode probabiliste sans internet (p. ex. complétement aléatoire).
L’échantillon qui en ressort est alors constitué de personnes ayant accès ou pas au
web. Lors du sondage, l’équipement et les outils nécessaires à une connexion internet
sont fournis aux répondants potentiels en échange de leur participation.
Toujours selon Couper (2000), les sondages non-probabilistes incluent ceux où les
répondants :
- sont un groupe de volontaires, généralement visiteurs d’un site internet, auxquels on
demande de participer au sondage (p. ex. sondage ayant valeur de divertissement).
Les résultats de ces sondages sont sans valeur scientifique réelle;
- sont recrutés par invitations ouvertes sur des portails ou sites web fréquemment
visités. Ils sont similaires aux enquêtes pour divertissement, mais dans ce contexte,
les résultats se veulent scientifiquement valides;
- Prennent part à plusieurs sondages en tant que membres recrutés généralement sur
des sites internet populaires.
Réaliser un sondage web probabiliste représente un défi majeur. En effet, il est très
souvent difficile, voire même impossible d’avoir accès à une proportion suffisamment élevée
de la population de référence. Sachant que le moyen de contact et de recrutement
généralement utilisé lors des sondages web est celui par courriel, il faudrait idéalement avoir
accès aux adresses électroniques d’une grande proportion de la population à étudier, ce qui
est souvent impossible. C’est d’ailleurs pour cela qu’il n’existe pas encore de méthode
standard d’échantillonnage web (Tourangeau et al., 2013),d’où l’intervention des sondages
web non probabiliste comme solution alternative.
Les sondages web non probabilistes représentent toujours un certain risque dans la
mesure où le manque de représentativité de l’échantillon peut biaiser les estimations que l’on
veut faire sur la population de référence. Cependant, si certaines conditions sont remplies,
les échantillons non-probabilistes peuvent apporter des résultats aussi probants que les
échantillons probabilistes. Selon Yeager et al., (2011) ces conditions sont rencontrées, par
exemples :
7- si le facteur qui détermine la présence ou l’absence d’un membre dans l’échantillon
n’est pas corrélé avec la variable d’intérêt. Par exemple, lors de l’étude sur
l’adaptation de la population à la maladie de Lyme, sélectionner les centres de plein-
air comme bassin de collecte des échantillons poserait un biais. En effet, les individus
fréquentant ces centres sont naturellement plus sensibilisés à la maladie que d’autres.
Dans ce cas particulier, le facteur déterminant la présence des sujets dans l’échantillon
(centre de plein-air) est corrélé à la variable d’intérêt (variable d’adaptation à la
maladie);
- la méthode des quotas est utilisée. Cette méthode peut être utilisée avant ou après la
collecte des données. On regroupe la population en classes dont les effectifs réels sont
connus. Ces derniers sont multipliés par le taux de sondage (portion de la population
faisant partie de l’échantillon), ce qui nous donne les quotas à respecter (Desabie,
1963). Il s’agit ici d’améliorer la représentativité de l’échantillon en faisant des
groupements d’individus selon une ou des variables de contrôle (p. ex. âge, sexe,
revenu, région). Une variable de contrôle doit comporter les qualités suivantes : avoir
une distribution statistique connue dans la population, être facile à observer sur le
terrain et ne pas comporter de sérieux risques d’erreur, être étroitement corrélée à la
variable d’intérêt.
Le mode de collecte de données par téléphone
La collecte des données par téléphone demeure l’un des modes les plus prisés,
notamment à cause de la simplicité relative avec laquelle il permet l’obtention d’échantillons
probabilistes de la population générale (Vehovar, Slavec, Berzelac & Gideon, 2012). La
collecte de données par téléphone peut se faire d’une des deux manières suivantes : Par
composition aléatoire (RDD en anglais) ou en se basant sur un annuaire téléphonique.
Collecte basée sur un annuaire téléphonique
Cette méthode est la plus adéquate lorsqu’une liste téléphonique précise de la
population à l’étude est disponible. Les numéros seront alors sélectionnés aléatoirement
parmi ceux de la liste (Lavrakas, 1987).
Collecte par RDD ou composition aléatoire
8Créée par Couper (1964), cette méthode augmente les chances d’obtenir un sondage
téléphonique probabiliste en réduisant le biais potentiellement créé lorsque des numéros de
téléphones sont non répertoriés dans un annuaire téléphonique. En effet, la méthode RDD ne
se réfère pas à une liste préalablement faite. Elle consiste à générer aléatoirement tous les
numéros de téléphones qui pourraient possiblement se retrouver dans le cadre
d’échantillonnage voulu. Durant ce processus, on dresse d’abord la liste exhaustive de tous
les indicatifs régionaux de la zone géographique de la population qu’on veut étudier. On
génère ensuite tous les numéros qui peuvent en ressortir. L’information sur la banque des
lignes vacantes (celles qui ne sont pas octroyées parmi les numéros générés en RDD) peut
être pourvue par la compagnie téléphonique afin de supprimer les numéros invalides. Le
processus permettant d’aboutir à un sondage RDD peut s’avérer lourd en termes de temps et
de coûts. Avant de s’y investir, il faut considérer l’étendue des zones géographiques à couvrir,
la disponibilité de l’information sur les banques des lignes vacantes et le pays dans lequel est
effectué le sondage. En effet, la complexité du système par lequel les lignes téléphoniques
sont créées est parfois trop élevée dans certains pays pour envisager le recours au RDD
(Vehovar et al., 2012).
Très souvent, lorsqu’on parle de sondage téléphonique en recherche, on fait référence
aux lignes téléphoniques de maison. Cependant depuis les années 2000, la téléphonie mobile
s’est suffisamment étendue pour être considéré comme un mode de collecte adéquat
(Vehovar et al., 2012). Inclure ce nouveau mode dans un plan de sondage n’est toutefois pas
évident à cause non seulement des coûts qu’il engendre (plus onéreux que le téléphone fixe),
mais aussi des biais qu’il peut occasionner notamment à cause de la non-réponse, du manque
de représentativité, de la difficulté à distinguer les lignes fixes et mobiles, des indicatifs
régionaux ne prouvant en rien la localisation géographique des sujets jusqu’au type
d’appareil téléphonique utilisé (Brick, Edwards & Lee, 2007; Lavrakas et al., 2007). En
considérant tous ces éléments et en pourvoyant à une approche méthodologique adaptée, il
est toujours possible d’éviter ou de contourner les biais.
C’est ce que font des compagnies telles que BIP-sondage (la compagnie de sondage
engagée pour ce projet) qui possède trois banques de cellulaires qui lui ont été attribuées par
un fournisseur externe. La première est une liste de RDD pour laquelle on ne peut dire au
9départ si le cellulaire est actif ou pas. La deuxième est une liste dont les RDD ont été filtrés
et dépouillés des numéros inexistants. La troisième est une liste contenant des ménages sans
ligne téléphonique fixe.
Recension des écrits
Comparaisons des modes de sondage dans la littérature
Des recherches similaires à la nôtre ont déjà été faites sur le sujet. Différentes
méthodes ont été employées durant le processus de comparaison, et des conclusions variables
ont été établies.
Dans une étude réalisée par Zhang et al. (2017), 13 questionnaires psychologiques
mesuraient les aspects positifs (p. ex. résilience, santé mentale positive, bonheur subjectif,
autosuffisance) et négatifs (p. ex. pessimisme, état d’anxiété, de stress et de dépression, etc.)
de la santé mentale. Quatre méthodes de collecte de données ont été comparées du point de
vue de ces 13 aspects : (1) le mode par questionnaires en ligne, c’est-à-dire sur le web, (2) le
mode par questionnaires hors-ligne où les sujets répondaient à partir de leurs ordinateurs
personnels ou de leurs écrans de télévision connectés à un logiciel de la compagnie de
sondage par l’intermédiaire d’un dispositif appelé « set-top-box », (3) le mode par téléphone
et (4) le mode face à face. Les différences les plus grandes ont été observées entre les modes
en ligne/hors ligne et celui par téléphone. De plus, l’analyse de l’invariance de la mesure
indique l’absence d’invariance scalaire complète (des explications sur les différents tests
d’invariance sont données dans le paragraphe intitulé « différents outils de comparaison »)
sur l’ensemble des 4 modes pour 4 des 13 facteurs analysés. Ces 4 facteurs sont le sens de la
cohérence, la résilience, le bonheur subjectif et la tradition. Pour ce qui est du sens de la
cohérence, il y avait invariance scalaire complète pour les modes face à face, en ligne et par
téléphone. La résilience a eu de l’invariance pleine pour les échantillons en ligne, hors-ligne
et par téléphone. Concernant le bonheur subjectif on n’a trouvé de l’invariance scalaire
complète qu’entre les modes hors-ligne et téléphone. Finalement, le facteur tradition a montré
de l’invariance scalaire complète entre le mode face à face et hors-ligne, en ligne et hors-
ligne et entre le mode téléphone et hors-ligne.
10Chang et Krosnick (2009) ont comparé trois échantillons où les participants devaient
répondre à un sondage pour la campagne électorale présidentielle de l’an 2000. Les
échantillons ont été obtenus par trois modes de collecte différents : le mode téléphonique
RDD, le mode internet probabiliste et le mode internet non probabiliste. L’échantillon non
probabiliste était constitué de volontaires qui ont accepté de répondre à l’enquête en retour
d’un montant d’argent. Ils ont découvert entre autres que lors des auto-évaluations
(constituées de prédictions faites par les répondants sur leurs choix de vote, d’une évaluation
des principaux candidats des élections, et d’un ensemble vaste d’attitudes et de croyances des
répondants qui pourraient influencer le choix de vote), les répondants internet donnaient une
description plus précise et détaillée dans leurs réponses que ceux par téléphone. Ceci s’est
manifesté notamment par : une plus grande validité prédictive et convergente mesurée par la
corrélation entre les réponses (à des items déterminants du choix de vote) données lors d’un
sondage pré-électoral et le choix de vote réel transmis dans le sondage post-électoral. Ils ont
également observé, une plus grande fidélité (selon un modèle d’équations structurelles
permettant d’estimer la stabilité d’un construit). Finalement, la désirabilité sociale et le biais
de suffisance - c’est lorsqu’à une question demandant un effort cognitif substantiel, le
répondant préfère donner une réponse qui satisfait ou qui se base sur le statut quo (Krosnick,
1991) - étaient plus faibles chez les échantillons fournis par internet que celui par téléphone.
Braunsberger et al. (2007) ont comparé la consistance dans le temps du panel web et
de la méthode téléphonique au cours d’une enquête qui incluait l’évaluation de la couverture
de l’assurance maladie en se basant sur 10 critères (p. ex. digne de confiance, bien informée,
reconnu par les médecins). Le contenu du questionnaire était le même pour les deux modes,
et pour chaque mode de sondage, ils ont effectué une première collecte des données à un
temps 1, et une deuxième au temps 2, environ 2 mois plus tard. Ils ont ensuite comparé les
deux modes de collecte de données du point de vue de leur capacité à demeurer fidèles dans
le temps. On voulait donc savoir si le passage du temps affectait la qualité d’un mode de
collecte plus que l’autre. Pour ce faire, on a d’abord effectué un test d’ANOVA afin de
comparer sur chacun des 10 critères l’échantillon web au temps 1 à celui du temps 2, puis
l’échantillon téléphone du temps 1 à celui du temps 2. Les résultats ont montré une
congruence dans le temps des échantillons par internet, contrairement aux échantillons par
téléphone. En effet, des différences significatives ont été trouvées sur les 10 critères dans le
11cas du mode par téléphone, tandis que concernant le mode web, un seul critère a abouti à des
résultats significativement différents dans le temps. Sur la base de ces résultats, ils ont conclu
que le mode web peut produire des résultats plus fiables que celui par téléphone. Une enquête
de (Rankin et al., 2008) est également arrivée à des conclusions similaires.
Bien que des différences significatives aient été observées entre le web et le téléphone
dans plusieurs études, on a relevé d’autres études dont les conclusions indiquaient que les
deux modes peuvent obtenir des résultats similaires. C’est le cas par exemple d’une étude de
Roster et al. (2004) qui ont mesuré la réputation d’une entreprise spécifique dans une région
métropolitaine majeure lors d’un sondage. Le questionnaire a été soumis à deux groupes :
l’un consistait en un échantillon probabiliste collecté par mode téléphonique et le second en
un échantillon tiré d’un panel web. Ils n’ont trouvé aucune différence entre les deux groupes
de leur enquête du point de vue de la prédiction de leurs comportements. Les profils
sociodémographiques ce sont cependant révélées différents d’un mode de sondage à l’autre.
De façon générale, plusieurs chercheurs sont d’accord sur le fait que le web et le
téléphone présentent des dissimilarités certaines, alors que d’autres sont plus enclin à croire
que les deux modes ne sont pas si différents et peuvent même être complémentaires l’un à
l’autre (Breton et al., 2017; Couper, 2011). Cependant, la réponse à la question : « Lequel
des modes de collecte de données est le plus satisfaisant en termes de représentativité? »,
reste difficile à obtenir. Afin de répondre à cette question, il est d’abord primordial de
déterminer les critères et outils qui permettront de juger de la qualité des données.
Critères et outils de comparaison
Selon Bowling (2005), chaque mode nécessite des capacités cognitives différentes de
la part des répondants, et varie selon le niveau d’intimité et d’anonymat dont il fait bénéficier
ces derniers, ce qui affecte le processus de réponse aux questions, et par là même, la qualité
des données. Plusieurs méthodes de comparaison permettant de vérifier si les échantillons
sont affectés par l’effet des modes ou de biais et ainsi déterminer le mode de collecte le plus
approprié ont été identifiées la littérature.
La comparaison des caractéristiques sociodémographiques des échantillons est un
bon début. En d’autres termes, on pourrait comparer l’âge, le sexe, la situation matrimoniale,
12le salaire, le niveau d’éducation, l’origine etc. (Beck, Yan, et Wang, 2009; Chang et
Krosnick, 2009; Dillman et al., 2009), selon les besoins de l’étude et des données disponibles.
On effectue aussi parfois une comparaison de chaque échantillon avec les données du
recensement dans le but d’évaluer la représentativité des échantillons à la population générale
(Beck, Yan, et Wang, 2009; Chang et Krosnick, 2009; Dillman et al., 2009).
Ensuite, on peut choisir certaines variables du questionnaire de l’étude et effectuer
des comparaisons de moyennes ou de proportions. Des tests de chi-deux ou de Fisher
pourraient être effectués sur les variables catégorielles (Read & Cressie, 2012), des analyses
de la variance (ANOVA) (Xing et Handy, 2014) ou encore des tests de Student, un cas
particulier de l’ANOVA (Fricker et al., 2005; Roster et al., 2004). Dans le cas d’un manque
de représentativité de la part des échantillons, une pondération permet de les ajuster. Les tests
nommés plus haut peuvent alors être reproduits sur les données pondérées. La pondération
peut être faite de différentes façons. Deux exemples proposés de pondération sont : la
pondération basée sur les données de la population externe (Fricker et al., 2005) et la
procédure de concordance exacte (PCE) où le groupe traitement et le groupe contrôle sont
équilibrés. Autrement dit, les groupes traitement et contrôle ont une distribution similaire à
leurs covariances (Sarracino et al., 2017).
Un autre moyen utilisé pour comparer les modes de sondage est l’analyse de
l’invariance de la mesure. Elle consiste à vérifier si l’association entre le facteur latent et le
score qui lui est attribué ne dépend pas de l’appartenance à un groupe ou à une mesure dans
le temps. L’absence d’invariance est un signe qu’au moins un des modes de sondage
impliqués donne des résultats biaisés au regard du facteur en question. L’invariance de la
mesure repose généralement sur trois principaux tests. D’abord, l’invariance configurale qui
teste l’intégrité de la structure factorielle (Chen, Dai & Gao, 2019; Zhang et al., 2017).
Ensuite, l’invariance métrique qui vérifie que les échantillons répondent aux items du facteur
de la même manière. En d’autres mots, elle vérifie si la corrélation entre les items et leur
construit latent est similaire d’un groupe à l’autre (Sass & Schmitt, 2013; Steenkamp &
Baumgartner, 1998). Enfin, l’invariance scalaire qui vérifie que les individus ayant les
mêmes scores aux items ont également le même score au niveau du facteur indépendamment
du groupe auquel ils appartiennent (Zhang et al., 2017). Ces tests se font dans l’ordre et
13l’aboutissement du dernier garantit que les deux autres ont obtenu un résultat positif.
L’établissement de l’invariance métrique et scalaire permettent de conclure qu’il y a
invariance de la mesure (Sass & Schmitt, 2013). À chaque test, l’invariance peut être
considérée nulle (le modèle testé pour invariance est inadéquat avec ou sans modification),
partielle (le modèle testé est adéquat seulement après modifications), complète (le modèle
testé est adéquat sans modification préalable) (Putnick & Bornstein, 2016). Il existe d’autres
tests complémentaires d’invariance tels que : l’invariance stricte qui permet de vérifier si les
effets résiduels (unicité) des items sont les mêmes pour tous les groupes comparés;
l’invariance de la moyenne latente et l’invariance de la variance latente qui vérifient
respectivement l’équivalence de la moyenne et de la variance du score estimé du facteur d’un
échantillon à l’autre (Steenkamp & Baumgartner, 1998).
Finalement, selon Dillman et al. (2009), le taux de réponse globale et les taux de
réponse par question présentent également un certain attrait pour la comparaison
d’échantillons. D’autres indicateurs tels que le taux de réponse sur les variables
sociodémographiques comparées aux données du recensement, les coefficients des
estimations de variation, les tests de différence statistique entre le taux de répondants et de
non-répondants par région peuvent être utilisés dans le processus de comparaison des modes
de collecte de données (Bélanger, Gosselin, Valois, Abdous, et Morin 2013). Les taux de
réponse doivent cependant être utilisés avec précaution. En effet, seuls, ils ne suffisent pas à
émettre une conclusion en ce qui concerne la qualité des estimations faites sur les données
d’un échantillon (Bethlehem et al., 2008).
Les outils mentionnés ci-dessus sont les plus utilisés dans la littérature. Leur
pertinence et leur fiabilité justifient leur utilisation courante dans des études de comparaison
des modes de collecte. Notre étude n’en a pas fait exception. Chacun de ces outils de
comparaison y ont été insérés.
14Vous pouvez aussi lire
