Réaliser un sondage requiert une vraie expertise technique. L’accès facile à des répondants captifs sur les réseaux sociaux a poussé certains instituts d’études de marché à proposer des raccourcis méthodologiques dont les effets sont aujourd’hui bien visibles. Une étude publiée dans Nature montre toutes les limitations des sondages Facebook. Un échantillon de 250.000 répondants à un sondage Facebook a conduit à une erreur de 17%. C’est le paradoxe du Big Data (« Big Data Paradox »). La taille amplifie les biais de l’échantillon.
Sommaire
- Introduction
- Les sondages sur les réseaux sociaux moins précis que les méthodes standards
- Un plus grand échantillon ne garantit pas une marge d’erreur plus faible
- Les sondages via les réseaux sociaux servent-ils à quelque chose ?
Si vous n’avez que 30 secondes
- Les sondages réalisés sur les réseaux sociaux présentent des biais qui peuvent entraîner des erreurs très importantes.
- Une étude sur les sondages Facebook réalisés au moment du Covid-19 montre jusqu’à 17% d’erreur dans les estimations
- Les erreurs d’estimations sont dues à la stratégie d’échantillonnage. Les échantillons sur les réseaux sociaux sont rarement représentatifs de la population cible.
- Quand des échantillons de taille importante sont biaisés, l’erreur d’estimation n’en sera que plus grande.
- Identifiez en amont les variables qui influencent le comportement de la population cible avant de décider de votre stratégie d’échantillonnage.
- N’utilisez pas de sondages sur les réseaux sociaux pour les études de marché B2B.
Introduction
Pendant la pandémie de Covid, de nombreux sondages ont été lancés pour comprendre la volonté de la population de se faire vacciner. L’objectif était de réduire les facteurs de non-vaccination et d’augmenter l’immunité collective. Nous avons nous-mêmes été sollicités par les autorités pour étudier, par sondage, les raisons de la non-vaccination.
Des sondages ont été entre autres réalisés sur les réseaux sociaux et Facebook a même lancé un « Covid-19 Information Centre ». A cette occasion, aux États-Unis, près de 250.000 personnes participaient chaque semaine à un sondage permettant d’évaluer leur propension à recevoir une première dose de vaccins.
Comme le montrent les 3 auteurs de l’étude, ce sondage réalisé par Delphi et Facebook a livré des estimations qui n’ont fait qu’empirer au fur et à mesure de l’épidémie.
Les sondages sur les réseaux sociaux moins précis que les méthodes standards
Les auteurs comparent 3 sondages ayant eu les mêmes objectifs : évaluer la propension des Américains à recevoir une première dose de vaccin contre le Covid-19.
Le premier sondage était réalisé sur Facebook, le second par email / sms, le troisième via une méthodologie classique (panels) :
- Sondage sur Facebook : 250.000 sondés par semaine
- Sondage par email et sms : 75000 sondés par semaine
- Sondage classique par panel : 1000 sondés par semaine
Les deux premiers sondages ont donc la particularité de ne pas contrôler qui répond. En d’autres termes, il n’y a pas de quotas en fonction du profil des répondants. La méthode d’administration du sondage (Facebook dans le premier, email et sms dans le second) introduit donc un biais.
La méthode des panels, elle, permet d’obtenir une précision bien meilleure malgré une taille d’échantillon très largement inférieure à celle des 2 autres sondages (« Big Data Paradox »). Il suffit pour s’en convaincre de regarder le graphique ci-dessous qui montre les dérives des différents sondages mois après mois.
Alors qu’en Janvier 2021, les erreurs restent minimes, la précision des sondages basés sur de très grands échantillons ne cesse de décroître jusqu’en Mai 2021. Alors que le taux de vaccination observé est de 60% environ, le sondage Facebook surestime le taux de 17% et le second sondage de 14%. Par contraste, le sondage réalisé sur 1000 personnes avec la méthode des quotas permet de limiter l’erreur à environ 3-4%.
Quand des échantillons de taille importante sont biaisés, l’erreur d’estimation n’en sera que plus grande.
Un plus grand échantillon ne garantit pas une marge d’erreur plus faible
En matière de sondage, il est paradoxal de constater qu’un grand échantillon ne conduit pas forcément à une meilleure précision. La taille ne fera en effet qu’amplifier les biais de l’échantillon.
D’où viennent dès lors les énormes erreurs constatées ? De la stratification de l’échantillon.
Les 3 sondages ont bien appliqué une stratification par classes d’âge et par genre. Mais les biais sont plus profonds que cela.
Le sondage Facebook ne sonde que les utilisateurs Facebook. Logique mais mortel car un utilisateur de Facebook n’est pas forcément représentatif de la population dans son ensemble.
Le deuxième sondage ne prend en compte que des répondants contactables par email ou sms. C’est ainsi 19% de la population américaine qui est ignorée.
Le troisième sondage, lui, assure une grande diversité de profils de répondants. En plus de la représentativité par âge et classe d’âge, des quotas sont également mis :
- sur le niveau d’éducation
- l’origine ethnique
- les opinions politiques
- Des répondants n’ayant ni email, ni téléphone mobile sont également inclus (environ 1% de l’échantillon).
Un échantillon de 250.000 personnes peut avoir la même imprécision qu’un échantillon de 10 personnes.
Comment améliorer la précision de vos sondages ?
Le sondage est la méthode la plus répandue en matière d’études de marché. Encore faut-il en maîtriser les aspects techniques pour ne pas tirer des conclusions erronées.
La taille de l’échantillon ne fait donc pas tout et comme nous l’avons vu, un échantillon de 250.000 personnes peut avoir la même imprécision qu’un échantillon de 10 personnes. Tout est dans la sélection des répondants.
Pour améliorer la précision de votre sondage il faut donc bien sélectionner ses répondants et comprendre selon quels critères les choisir. Dans le cas de la vaccination au Covid-19, des études précédentes avaient montré l’influence du niveau d’études et de l’obédience politique. Ne pas contrôler ces variables ne pouvait donc que conduire à un désastre statistique.
Avant de lancer un sondage, il vous fait donc impérativement réaliser une étude de littérature afin de découvrir quels facteurs sont susceptibles d’influencer le comportement que vous étudiez. C’est sur la base de ces facteurs que vous devez ensuite décider de votre stratégie d’échantillonnage. Nous sommes conscients qu’il s’agit d’une matière compliquée. Aussi, si vous avez besoin d’aide, n’hésitez pas à nous contacter.
Les sondages via les réseaux sociaux ont-ils une valeur ?
La question mérite donc d’être posée ? A quoi servent les sondages via les réseaux sociaux et peut-on s’y fier ? La réponse est simple : ça dépend.
Tout dépend en effet de l’objet du sondage.
Si votre sondage concerne les utilisateurs des réseaux sociaux, alors oui, cela a du sens.
Si 100% de votre population cible utilise les réseaux sociaux, alors oui cela a du sens.
Mais si par malheur certains de vos répondants cibles ne sont pas sur les réseaux sociaux, alors vous êtes perdu.
Un dernier conseil pour la route. Si vous voulez étudier un marché B2B, n’imaginez même pas faire un sondage sur les réseaux sociaux. Cela n’aurait aucun sens.
Publié dans Recherche.
