Im Jahr 2005 führte Amazon die Plattform Mechanical Turk (MTurk) für das Outsourcing von sich wiederholenden Aufgaben ein. MTurk ist heute bei Marktforschungsinstituten und Universitäten äußerst beliebt. Für sie ist es eine ergiebige Quelle von Arbeitskräften, die z.B. Umfragen beantworten.
Die Plattform beschäftigt weltweit 7.500 Vollzeit- und über 500.000 Teilzeitkräfte, hauptsächlich in den USA und Indien. In diesem Artikel analysiere ich MTurk aus einer (Marktforschungs-)Perspektive und mache Sie auf einige Besonderheiten aufmerksam, die Ihre Ergebnisse beeinflussen könnten.
Fakten und Zahlen über MTurk
- 2005 von Amazon gegründet.
- 7.500 Vollzeitbeschäftigte
- 500.000 Teilzeitkräfte weltweit, hauptsächlich aus den USA und Indien.
- 1/3 aller sozialwissenschaftlichen Umfragen und Experimente nutzen MTurk.
- Super Turkers nehmen an 10-17 Umfragen pro Woche teil
- 10% der MTurker sind für die Durchführung von 40% aller Umfragen verantwortlich.
Die MTurk Belegschaft
Demographie und Repräsentation
Als Erstes müssen wir die demografische Vertretung der MTurker analysieren.
MTurk-Mitarbeiter oder MTurker sind im Allgemeinen jünger, besser ausgebildet und technisch versierter als die Allgemeinbevölkerung. Ein beträchtlicher Anteil ist unter 30 Jahre alt und oft arbeitslos oder unterbeschäftigt. Sie gehören zu den unteren Einkommensklassen (denken Sie daran, wenn Sie in Ihrer Umfrage Quoten einhalten müssen).
Was den Familienstand anbelangt, so ist es wahrscheinlicher, dass sie noch nie verheiratet waren. Demographisch gesehen sind auf der Plattform mehr Weiße und weniger Hispanics/Latinos oder Afroamerikaner vertreten. Wenn Sie also eine ethnische Repräsentation in Ihrer Studie benötigen, sollten Sie diese mit besonderer Sorgfalt durchführen. Die MTurker-Population ist weniger repräsentativ als nationale Wahrscheinlichkeitsstichproben und einige professionelle Online-Panels, aber repräsentativer als Zufallsstichproben.
Psychologische Eigenschaften
Zweitens müssen wir uns bewusst sein, dass MTurker ein spezifisches psychologisches Profil haben. Sie weisen eine höhere Introvertiertheit auf. Sie haben ein geringeres Selbstwertgefühl und eine geringere Lebenszufriedenheit.
Sie haben auch höhere Werte im Bezug auf die Aspekte
-
- Einfühlungsvermögen
- Soziale Ängste
Es ist wichtig, diese Besonderheiten zu kennen, vor allem, wenn Sie Fragebögen durchführen, die diese Eigenschaften adressieren.
Herausforderungen
Das Phänomen der „Super Turkers“
Super Turkers“ sind ein kleines, aber kontinuierlich aktives Segment auf der Plattform. Sie nehmen im Durchschnitt an 10-17 wöchentlichen Umfragen teil, deutlich mehr als typische Panelteilnehmer.
Diese Gruppe führt 40% aller Umfragen durch. Sie sind natürlich durch Geld motiviert. Die Abhängigkeit von diesen hochaktiven Befragten birgt das Risiko einer Verzerrung der Forschungsergebnisse, insbesondere bei Untersuchungen, die auf die Erfahrungseffekte einer wiederholten Umfrageteilnahme reagieren.
Arbeitsethik und Motivation
Für 80% der MTurker ist der Umsatz die Hauptmotivation. Dies hat Vorrang vor dem Interesse an dem Thema (20%). Diese wirtschaftliche Motivation veranlasst sie dazu, Aufgaben schnell zu erledigen, um ihren Verdienst zu maximieren. Dieses Streben nach schneller Ausführung kann die Datenqualität beeinträchtigen. Wir müssen daher spezielle Maßnahmen ergreifen, um sogenannte Temposünder zu identifizieren, d.h. diejenigen, die zu schnell auf Umfragen antworten. Eine Schulung der MTurker könnte ihnen einen Vorteil in Bezug auf die Antwortzeit verschaffen.
Schließlich sollten Sie besonders auf den Entwurf und die Länge Ihrer Umfrage achten. Wie bei herkömmlichen Panels führen schlecht gestaltete oder übermäßig lange Umfragen zu:
-
- Einer schlechten Qualität der Antworten
- Hohen Abbrecherquoten
Mein Rat an unsere Kunden lautet, unter 25 Fragen oder 9 Minuten zu bleiben.
Wichtige Punkte für Ihre Projekte mit MTurk
Wenn Sie mit MTurk recherchieren möchten, sind hier die wichtigsten Punkte, auf die Sie achten sollten:
Falsche Identität der Befragten
Identitätsdiebstahl – oder genauer gesagt, die Behauptung von Eigenschaften, die der Befragte nicht besitzt – ist ein echtes Problem. Dieses Problem ist nicht spezifisch für MTurk, sondern für alle Panel-Umfragen.
Es gibt verschiedene Ansätze, um diesem Problem zu begegnen:
-
- Beseitigung finanzieller Anreize
- Stellen von Screening-Fragen
Verzerrung der Stichproben
Das spezifische Profil der MTurker führt unweigerlich zu Verzerrungen, wenn Sie eine repräsentative Stichprobe erstellen möchten. Daher müssen Sie Ihre Stichprobe um die folgenden Aspekte bereinigen:
- Alter
- Rasse und ethnische Zugehörigkeit
- Geschlecht
- Einkünfte
- Bildung
- Familienstand
- Religion
- Politische Ideologie
Empfehlungen für das Verfassen von Berichten
Um die Transparenz und Integrität Ihres Forschungsprojekts zu gewährleisten, empfehle ich Ihnen, sich darüber im Klaren zu sein:
-
- Vergütung der MTurker
- Land des Wohnsitzes
- Die grundlegenden demographischen Daten der Befragten.
Anhand dieser Fakten kann der Leser die Zuverlässigkeit und Verallgemeinerbarkeit der Ergebnisse beurteilen. Diese Empfehlung ist jedoch nicht spezifisch für MTurk. Sie ist eine gute Praxis für jedes qualitative oder quantitative Projekt.
Fazit
MTurk hat sich zu einem weit verbreiteten Instrument für die Durchführung von Forschungsarbeiten entwickelt, insbesondere im Bereich der Sozialwissenschaften. Die Besonderheiten von MTurkern erfordern jedoch gewisse methodische Anpassungen. Wenn Forscher die demografischen, motivationalen und verhaltensbezogenen Besonderheiten von MTurkern verstehen, können sie die Grenzen ihrer Forschung erkennen und Probleme vorhersehen.
Weitere Lektürevorschläge
Hier finden Sie einige akademische Artikel über die Verwendung von MTurk in der Forschung.
- Mason & Suri 2012
- Buchheit et al. 2018
- Hunt & Scheetz 2019
- Paolacci et al. 2010
- Wessling et al. 2017
Posted in Marketing.
