Enquêtes afnemen vereist echte technische deskundigheid. De gemakkelijke toegang tot respondenten op sociale netwerken heeft sommige marktonderzoeksinstituten ertoe gebracht methodologische shortcuts voor te stellen waarvan de effecten nu duidelijk zichtbaar zijn. Een studie (Engelse site) gepubliceerd in Nature toont de beperkingen van Facebook-enquêtes aan. Een steekproef van 250.000 respondenten op een Facebook-enquête leidde tot een foutenmarge van 17%. Dit is de Big Data Paradox. De omvang versterkt de bias van de steekproef.
Inhoud
- Inleiding
- Enquêtes op sociale netwerken minder nauwkeurig dan standaardmethoden
- Een grotere steekproefgrootte garandeert geen lagere foutenmarge
- Zijn enquêtes over sociale netwerken nuttig?
Als u maar 30 seconden heeft
- Enquêtes die op sociale netwerken worden gehouden bevatten vertekeningen die tot zeer grote fouten kunnen leiden.
- Een studie van Facebook-peilingen ten tijde van Covid-19 laat tot 17% fout in de schattingen zien
- Schattingsfouten zijn te wijten aan de steekproefstrategie. Steekproeven op sociale netwerken zijn zelden representatief voor de doelpopulatie.
- Wanneer grote steekproeven een vertekend beeld geven, zal de schattingsfout groter zijn.
- Ga na welke variabelen het gedrag van de doelpopulatie beïnvloeden voordat u uw steekproefstrategie bepaalt.
- Doe geen enquêtes op sociale netwerken voor B2B-marktonderzoek.
Inleiding
Tijdens de Covid-pandemie werden talrijke enquêtes gehouden om inzicht te krijgen in de bereidheid van de bevolking om zich te laten vaccineren. Het doel was de niet-vaccinatiefactoren te verminderen en de immuniteit van de kudde te verhogen. Wijzelf werden door de autoriteiten gevraagd om de redenen voor het niet-vaccineren te bestuderen via enquêtes.
Er werden peilingen gehouden op sociale netwerken en Facebook lanceerde zelfs een ” Covid-19 Information Centre”. Bij deze gelegenheid hebben in de Verenigde Staten bijna 250.000 mensen elke week deelgenomen aan een enquête om na te gaan of zij geneigd waren een eerste dosis vaccin te krijgen.
Zoals de 3 auteurs van de studie aantonen, leverde deze studie van Delphi en Facebook resultaten op die alleen maar slechter werden naarmate de epidemie vorderde.
Enquêtes op sociale netwerken minder nauwkeurig dan standaardmethoden
De auteurs vergelijken 3 enquêtes die dezelfde doelstellingen hadden: nagaan in hoeverre de Amerikanen geneigd zijn een eerste dosis vaccin tegen Covid-19 te krijgen.
De eerste enquête werd gehouden op Facebook, de tweede per e-mail/sms, de derde via een klassieke methode (panels):
- Peiling op Facebook: 250.000 respondenten per week
- Enquête per e-mail en sms: 75.000 respondenten per week
- Klassiek panelonderzoek: 1000 respondenten per week
De eerste twee enquêtes hebben dus de bijzonderheid dat zij niet controleren wie er antwoordt. Met andere woorden, er zijn geen quota’s op basis van het profiel van de respondenten. De manier waarop de enquête wordt gehouden (Facebook in de eerste, e-mail en sms in de tweede) gaf dus een vertekend beeld.
De panelmethode daarentegen biedt een veel grotere nauwkeurigheid ondanks een veel kleinere steekproefomvang dan de andere twee enquêtes (“Big Data Paradox”). Om uzelf daarvan te overtuigen, hoeft u alleen maar naar de onderstaande grafiek te kijken, die het verloop van de verschillende peilingen maand na maand laat zien.
Terwijl in januari 2021 de fouten nog minimaal zijn, neemt de nauwkeurigheid van de peilingen op basis van zeer grote steekproeven tot mei 2021 steeds verder af. Terwijl de waargenomen vaccinatiegraad ongeveer 60% bedraagt, wordt die bij de Facebook-enquête met 17% overschat en bij de tweede enquête met 14%. Daarentegen beperkt de enquête onder 1000 personen volgens de quotamethode de fout tot ongeveer 3-4%.
Wanneer grote steekproeven een vertekend beeld geven, zal de schattingsfout groter zijn.
Een grotere steekproefgrootte garandeert geen lagere foutenmarge
Bij enquête-onderzoek is het paradoxaal dat een grote steekproefomvang niet noodzakelijk tot een grotere nauwkeurigheid leidt. De grootte zal de steekproefvertekening alleen maar versterken.
Waar komen dan die enorme fouten vandaan? Uit de stratificatie van de steekproef.
In de 3 enquêtes werd wel stratificatie naar leeftijd en geslacht toegepast. Maar de bias gaat verder dan dat.
In de Facebook-enquête worden alleen Facebook-gebruikers ondervraagd. Dat is logisch, maar fataal, want een Facebook-gebruiker is niet noodzakelijk representatief voor de hele bevolking.
Bij de tweede enquête wordt alleen rekening gehouden met respondenten die per e-mail of sms bereikbaar zijn. Dit betekent dat 19% van de bevolking van de VS genegeerd wordt.
De derde enquête zorgt voor een breed scala van respondentenprofielen. Naast de representativiteit per leeftijd en leeftijdsgroep worden ook quota’s gebruikt:
- op het niveau van het onderwijs
- etniciteit
- politieke standpunten
Respondenten zonder e-mail of mobiele telefoon zijn ook opgenomen (ongeveer 1% van de steekproef).
Een steekproef van 250.000 mensen kan dezelfde onnauwkeurigheid opleveren als een steekproef van 10 mensen.
Hoe kunt u de nauwkeurigheid van uw enquêtes verbeteren?
Enquêtes zijn de meest gebruikte methode van marktonderzoek. Het is echter belangrijk de technische aspecten te beheersen om geen verkeerde conclusies te trekken.
Steekproefgrootte is dus niet alles, en zoals wij gezien hebben kan een steekproef van 250.000 mensen dezelfde onnauwkeurigheid opleveren als een steekproef van 10 mensen. Het gaat om de selectie van de respondenten.
Om de nauwkeurigheid van uw enquête te verbeteren, moet u uw respondenten zorgvuldig selecteren en de criteria voor hun keuze begrijpen. In het geval van de Covid-19-vaccinatie hebben eerdere studies de invloed van opleiding en politieke gezindheid aangetoond. Het niet controleren van deze variabelen zou alleen maar tot een statistische ramp kunnen leiden.
Alvorens een enquête te houden, moet u dus een literatuurstudie uitvoeren om na te gaan welke factoren vermoedelijk van invloed zijn op het gedrag dat u bestudeert. Op basis van deze factoren moet u dan uw steekproefstrategie bepalen. Wij beseffen dat dit een ingewikkeld onderwerp is. Als u hulp nodig hebt, neem dan zeker contact met ons op.
Zijn enquêtes op sociale netwerken zinvol?
Is de vraag dan de moeite waard? Wat is het doel van peilingen op sociale netwerken en zijn zij te vertrouwen? Het antwoord is eenvoudig: dat hangt ervan af.
Het hangt allemaal af van het doel van de enquête.
Als uw enquête gaat over gebruikers van sociale netwerken, dan is het zeker zinvol. Als 100% van uw doelgroep sociale media gebruikt, dan ja, dan is het zinvol. Maar als toevallig sommige van de respondenten uit uw doelgroep niet op sociale netwerken zitten, dan bent u fout bezig.
Nog een laatste tip. Als u een B2B-markt wilt onderzoeken, overweeg dan zeker geen enquête op sociale netwerken. Dat heeft geen zin.
Posted in Onderzoek, Recherche.
