Zu einer Meinungsumfrage gehört viel mehr, als nur viele Menschen nach ihrer Meinung zu fragen. Ich habe bereits über die Wahl der Stichprobenmethode gesprochen, und heute werde ich über die Messmethode selbst sprechen. Was ist eine gute Messmethode? Wie können Sie die Qualität der Messmethode anhand der erzielten Ergebnisse bestimmen? Wenn Sie Fragen haben, zögern Sie nicht, sie in den Kommentaren zu stellen. Ich werde sie gerne beantworten.
Kontaktieren Sie die IntoTheMinds Umfrage-Agentur
Die quantitative Forschung zielt darauf ab, Phänomene zu erforschen, indem sie quantifizierbare Daten sammelt und statistische Techniken anwendet. Daher müssen solche Forschungsergebnisse gültig, zuverlässig und verallgemeinerbar sein. Zumindest ist es das, was unsere Kunden erwarten. In dem folgenden Artikel stelle ich die 4 Merkmale vor, die eine gute Messmethode in der quantitativen Forschung ausmachen. Insbesondere veranschauliche ich diese 4 Merkmale mit einem Diagramm (unten), das sie viel leichter verständlich macht.
Die 4 Hauptprinzipien, die ich im Folgenden skizziere, sind nicht der akademischen Forschung vorbehalten. Sie gelten für die Grundlagenforschung, und jedes Umfrageinstitut, das etwas auf sich hält, sollte sie bei jedem Projekt berücksichtigen.
1: Die Messmethode ist weder gültig noch zuverlässig
2: Die Messmethode ist bestätigt, aber nicht zuverlässig
3: die Messmethode ist zuverlässig, aber nicht valide
4: die Messmethode ist zuverlässig und gültig
Gültigkeit (Genauigkeit)
Die Gültigkeit bezieht sich auf das Ausmaß, in dem ein Konzept, eine Schlussfolgerung oder eine Messmethode fundiert ist und genau der realen Welt entspricht. Sie entspricht der Präzision der Forschungsmaßnahme.
Es gibt mehrere Arten von Validität, die berücksichtigt werden müssen:
- Inhaltliche Gültigkeit: diese stellt sicher, dass die Messmethode den Bereich des Konzepts abdeckt, das sie bewerten soll. Dies bedeutet, dass sichergestellt wird, dass die Messmethode den beabsichtigten spezifischen Inhaltsbereich widerspiegelt.
- Konvergente Validität: diese zeigt, dass Messungen von Konzepten, die miteinander in Beziehung stehen sollen, auch in Beziehung stehen. Dies bedeutet, dass Ihre Messmethode gut mit anderen Messmethoden für dasselbe Konstrukt korreliert.
- Diskriminierende Validität: die stellt sicher, dass Konzepte oder Messgrößen, die eigentlich nicht miteinander verbunden sein sollten, es auch sind🙂. Diese Art der Validität zeigt, dass Ihre Messung nicht zu stark mit Messungen anderer Konstrukte korreliert.
- Prädiktive Validität: zeigt an, dass die Messmethode zukünftige Ergebnisse oder Verhaltensweisen genau vorhersagen kann. Die Messmethode kann verwandte Ergebnisse in der Zukunft vorhersagen.
- Nomologische Validität: hier geht es um den Nachweis, dass die Messmethode in einen theoretischen Rahmen passt, der erklärt, wie die Messung auf vorhersehbare Weise mit anderen Variablen und Maßnahmen zusammenhängt.
 Verlässlichkeit (Konsistenz)
Die Zuverlässigkeit bezieht sich auf die Konsistenz einer Messmethode. Eine Messmethode gilt als zuverlässig, wenn sie unter den gleichen Bedingungen das gleiche Ergebnis liefert.
- Interne Konsistenz: bewertet, ob die Elemente eines Tests zueinander in Beziehung stehen. Oft wird sie mit Cronbachs Alpha gemessen, das angibt, inwieweit ein Satz von Elementen einen einzigen eindimensionalen latenten Aspekt von Personen misst.
- Inter-Rater-Reliabilität: bewertet das Ausmaß, in dem verschiedene Beobachter oder Bewerter in ihren Bewertungsentscheidungen übereinstimmen. Dies ist entscheidend, um sicherzustellen, dass die Messmethode nicht subjektiv ist oder von der Interpretation eines einzelnen Beobachters abhängt.
- Test-Retest-Reliabilität: bewertet die Stabilität einer Messmethode im Laufe der Zeit. Dazu wird derselbe Test zweimal mit denselben Testpersonen durchgeführt und die Ergebnisse werden miteinander verglichen.
Wenn Sie wollen, dass Ihre Messmethoden zuverlässig sind, verwenden Sie bestätigte Messskalen. Welches Konstrukt Sie auch immer untersuchen möchten, es besteht eine 99%ige Chance, dass bereits eine psychometrische Skala existiert. Sie finden sie in sogenannten „Skalenbüchern“ oder über eine Literaturübersicht. Ich möchte im Rahmen des Themas bleiben, aber ich kann nur wiederholen, dass Sie vor der Erstellung Ihrer Umfrage eine Literaturrecherche durchführen sollten.
Kontaktieren Sie IntoTheMinds für die Durchführung Ihrer B2B- und B2C-Umfragen
3. Verallgemeinerbarkeit (die Messmethode kann in verschiedenen Kontexten verwendet werden)
Eine gute Messmethode sollte verallgemeinerbar sein und in verschiedenen Kontexten und Populationen angewendet werden können. Mit anderen Worten ausgedrückt: Wir nennen dies Extrapolation.
Diese Eigenschaft stellt sicher, dass die Forschungsergebnisse auf einen breiteren Kontext übertragen werden können. Im Falle einer Meinungsumfrage (z.B. während einer Wahl) oder einer Umfrage für ein Unternehmen sorgt die Fähigkeit zur Verallgemeinerung der Ergebnisse dafür, dass das Unternehmen seine Entscheidungen auf eine solide Grundlage stellen kann. Wer möchte schon strategische Entscheidungen für ein ganzes Land treffen, wenn die Ergebnisse einer Umfrage in Wirklichkeit nur einen Teil dieses Landes betreffen?
Marktforschungsinstitute verstecken sich oft hinter dem Konzept der „Fehlermarge“. Die Fähigkeit, ein Ergebnis zu verallgemeinern, hängt jedoch nicht unbedingt von dieser Fehlermarge ab. Ich möchte hier betonen, dass eine „Fehlermarge“ nur berechnet werden kann, wenn Sie die Verteilung Ihrer Stichprobe kennen. Dies ist im Vorfeld selten der Fall.
4. Einfachheit (kürzere Messmethoden sind vorzuziehen
Ich kann nicht genug betonen, dass bei Umfragen „weniger mehr ist“. Mit anderen Worten: Der Fragebogen sollte so sparsam wie möglich sein. Das ist es, was ich mit dem Konzept der Parsimonie meine.
Parsimonie bei der Messmethode bedeutet, dass einfachere, kürzere Messmethoden vorzuziehen sind, solange sie die Gültigkeit und Zuverlässigkeit der Ergebnisse nicht beeinträchtigen. Eine sparsame Messmethode ist effizient und vermeidet unnötige Komplexität, die die Interpretation oder Anwendung der Messmethode in verschiedenen Kontexten erschweren könnte.
Hier sind einige praktische Tipps:
- Begrenzen Sie die Anzahl der Fragen, um das Phänomen der „Ermüdung“ zu vermeiden, das die Validität der Messmethoden tendenziell negativ beeinflusst.
- Entscheiden Sie sich für kurze Formulierungen, um Interpretationsunterschiede zwischen den Befragten zu vermeiden (ein weiteres Validitätsproblem).
- Stellen Sie sicher, dass die Fragen klar und unmissverständlich formuliert So verhindern Sie, dass die Befragten Verständnisprobleme haben (ein Problem der Zuverlässigkeit).
Posted in Marketing.
