Enquêtes: wat is een goede maatstaf?

Bij het uitvoeren van een opiniepeiling is er meer nodig dan alleen maar een groot aantal mensen naar hun mening vragen. Ik had het al over de keuze van de steekproefmethode en vandaag zal ik ingaan op de meting zelf. Wat maakt een meting goed? Hoe kunt u de kwaliteit van de meting beoordelen op basis van de verkregen resultaten? Als u vragen hebt, aarzel dan niet om ze te stellen in de opmerkingen. Ik beantwoord ze graag.

Neem contact op met het IntoTheMinds-peilinginstituut

Kwantitatief onderzoek heeft tot doel verschijnselen te bestuderen door meetbare gegevens te verzamelen en statistische methoden toe te passen. Het is dan ook van belang dat de resultaten van een dergelijk onderzoek geldig, betrouwbaar en generaliseerbaar zijn. Dit is in ieder geval wat onze klanten van ons verwachten. In het onderstaande artikel beschrijf ik de 4 kenmerken die een goede meting in kwantitatief onderzoek definiëren. Ik illustreer deze 4 kenmerken met behulp van een diagram (hieronder) dat ze veel begrijpelijker maakt.

Ik wil benadrukken dat de vier hoofdprincipes die ik uiteenzet niet alleen van toepassing zijn op academisch onderzoek, maar ook op serieus onderzoek in andere contexten. Elk respectabel onderzoeksinstituut zou ze daarom voor elk project in gedachten moeten houden.

Visuele illustratie van de verschillende scenario’s die zich kunnen voordoen bij het analyseren van de resultaten van een enquête. 
1: De meting is geldig noch betrouwbaar
2: De meting is geldig maar niet betrouwbaar
3: De meting is betrouwbaar maar niet geldig
4: De meting is betrouwbaar en geldig

1. Validiteit (nauwkeurigheid)

Validiteit duidt op de mate waarin een concept, conclusie of maatregel goed onderbouwd is en waarschijnlijk nauwkeurig overeenkomt met de werkelijke wereld. Het is de nauwkeurigheid van de meting in het onderzoek.

Er moet met verschillende soorten geldigheid rekening worden gehouden:

• Inhoudsvaliditeit: zorgt ervoor dat de maatregel de reikwijdte dekt van het concept dat het beoogt te beoordelen. Dit betekent dat de maatregel het beoogde specifieke inhoudsgebied weerspiegelt.
• Convergente validiteit: toont aan dat metingen van constructen die verondersteld worden gerelateerd te zijn, ook daadwerkelijk gerelateerd zijn. Dit betekent dat u moet aantonen dat uw meting goed correleert met andere metingen van hetzelfde construct.
• Discriminante validiteit: zorgt ervoor dat concepten of metingen die verondersteld worden niet gerelateerd te zijn, daadwerkelijk niet aan elkaar gerelateerd zijn.🙂. Dit type validiteit laat zien dat uw meting niet te sterk correleert met metingen van andere constructen.
• Voorspellende validiteit: geeft aan dat de maatregel toekomstige uitkomsten of gedragingen accuraat kan voorspellen. Het is het vermogen van de maatregel om gerelateerde uitkomsten in de toekomst te voorspellen.
• Nomologische validiteit: hierbij wordt aangetoond dat de meting binnen een theoretisch kader past dat verklaart hoe de meting zich op een voorspelbare manier verhoudt tot andere variabelen en maatregelen.

2. Betrouwbaarheid (consistentie)

Betrouwbaarheid betreft de consistentie van een meting. Een meting wordt als betrouwbaar beschouwd als deze onder dezelfde omstandigheden hetzelfde resultaat zou opleveren.

• Interne consistentie: beoordeelt of de items in een test aan elkaar gerelateerd zijn. Dit wordt vaak gemeten met Cronbach’s alpha, wat aangeeft in welke mate een set items een enkel unidimensionaal latent aspect van individuen meet.
• Interbeoordelaarsbetrouwbaarheid: meet de mate waarin verschillende waarnemers of beoordelaars het eens zijn in hun beoordelingsbeslissingen. Dit is cruciaal om ervoor te zorgen dat de meting niet subjectief is of afhankelijk van de interpretatie van één waarnemer.
• Test-hertestbetrouwbaarheid: evalueert de stabiliteit van een meting in de loop van de tijd. Hierbij wordt dezelfde test op twee verschillende momenten aan dezelfde proefpersonen afgenomen, waarna de scores worden gecorreleerd.

Als u wilt dat uw metingen betrouwbaar zijn, is mijn advies: zorg ervoor dat u gevalideerde meetschalen gebruikt. Welk construct u ook wilt meten, er is 99% kans dat er al een psychometrische schaal bestaat. Ze zijn te vinden in zogenaamde “meetschaalboeken” of via een literatuuronderzoek. Ik wil niet te ver van het onderwerp afdwalen, maar ik kan alleen maar herhalen dat u een literatuurstudie moet uitvoeren voordat u uw enquête opstelt.

Neem contact op met IntoTheMinds voor het uitvoeren van uw B2B- en B2C-enquêtes

3. Generaliseerbaar (de maatregel kan in verschillende contexten worden gebruikt)

Een goede maatregel moet generaliseerbaar zijn, wat betekent dat hij in verschillende contexten en met verschillende populaties kan worden toegepast. Dit noemen we met andere woorden extrapolatie.

Deze eigenschap maakt het mogelijk om de resultaten van een onderzoek uit te breiden naar een bredere context. In het geval van een opiniepeiling (bijvoorbeeld tijdens een verkiezing) of een enquête voor een bedrijf, zorgt de mogelijkheid om de resultaten te generaliseren ervoor dat het bedrijf zijn beslissingen op een solide basis kan baseren. Wie wil er nu strategische beslissingen nemen over een heel land als de resultaten van de enquête slechts betrekking hebben op een deel van dat land?

Marktonderzoeksbureaus verschuilen zich maar al te vaak achter het begrip “foutmarge”. Het vermogen om een resultaat te generaliseren hangt echter niet noodzakelijkerwijs af van deze foutmarge. Ik wil hier benadrukken dat een “foutmarge” alleen berekend kan worden als u de verdeling van uw steekproef kent. Dit is stroomopwaarts zelden het geval.

4. Beknoptheid (kortere metingen verdienen de voorkeur)

Ik kan niet genoeg benadrukken dat als het op enquêtes aankomt, “minder is meer”. Met andere woorden, de vragenlijst moet zo bondig mogelijk zijn. Dit is wat ik bedoel met het concept van beknoptheid.

Beknoptheid in metingen houdt in dat eenvoudigere en kortere metingen de voorkeur verdienen, zolang ze de validiteit en betrouwbaarheid van de resultaten niet in gevaar brengen. Beknoptheid in metingen is effectief, omdat overbodige complexiteit die de interpretatie of toepassing van de meting in verschillende contexten zou kunnen bemoeilijken, vermeden wordt.

Hier volgen enkele praktische tips:

• Beperk het aantal vragen om het fenomeen van “vermoeidheid” te vermijden, dat de geldigheid van de metingen negatief kan beïnvloeden
• Kies voor korte formuleringen om interpretatieverschillen tussen respondenten te vermijden (een ander validiteitsprobleem).
• Zorg ervoor dat de vragen duidelijk en ondubbelzinnig geformuleerd zijn. Dit voorkomt dat respondenten problemen hebben om ze te begrijpen (betrouwbaarheidsproblemen).

Door Pierre-Nicolas Schwab Pierre-Nicolas is de directeur van de marketing agentschap IntoTheMinds. Hij heeft speciaal interesse voor e-commerce, retail, HoReCa en supply-chain projecten. Hij is ook een onderzoeker aan de Vrije Universiteit Brussel en werkt ook als coach voor meerde publieke organisaties. Hij verwelkomt Linkedin uitnodigingen : gelieve gewoon een paar woorden toe te voegen en uit te leggen waarom U wilt connecteren.