In 2005 introduceerde Amazon het platform Mechanical Turk (MTurk) om weerkerende taken uit te besteden. MTurk is intussen erg populair geworden bij marktonderzoeksbedrijven en universiteiten. Zij vinden er immers een uitgebreid personeelsbestand voor bijvoorbeeld het beantwoorden van enquêtes.
Het platform telt wereldwijd 7.500 fulltimers en meer dan 500.000 parttimers, voornamelijk in de Verenigde Staten en India. In dit artikel analyseer ik MTurk vanuit het perspectief van (markt)onderzoek en vestig ik uw aandacht op bepaalde specifieke kenmerken die uw resultaten kunnen beïnvloeden.
MTurk in cijfers
- In 2005 opgestart door Amazon
- 7.500 voltijdse werknemers
- 500.000 parttimers wereldwijd, voornamelijk uit de Verenigde Staten en India.
- 1/3 van alle sociaalwetenschappelijke onderzoeken en experimenten maakt gebruik van MTurk.
- Super Turkers nemen deel aan 10-17 onderzoeken per week
- 10% van de MTurkers is verantwoordelijk voor het uitvoeren van 40% van alle enquêtes.
Het personeelsbestand van MTurk
Demografie en vertegenwoordiging
Het eerste waar we volgens mij aandacht aan moeten besteden is de demografische representativiteit van MTurkers.
De werknemers van MTurk, de MTurkers, zijn over het algemeen jonger, beter opgeleid en meer technisch onderlegd dan de algemene bevolking. Een aanzienlijk deel is jonger dan 30, vaak werkloos of onderbezet. Ze behoren tot de lagere inkomensklassen (onthoud dit als u quota’s moet respecteren in uw enquête).
Wat betreft de burgerlijke staat zijn het vaker mensen die nooit gehuwd zijn geweest. Demografisch gezien ziet het platform meer blanken en minder Hispanics/Latinos of Afro-Amerikanen. Dus hou daar zeker rekening mee als etnische vertegenwoordiging voor uw onderzoek is vereist. De populatie van MTurkers is minder representatief dan nationale kanssteekproeven en sommige professionele online panels, maar representatiever dan gemakssteekproeven.
Psychologische kenmerken
Ten tweede moeten we ons ervan bewust zijn dat MTurkers specifieke psychologische profielen hebben. Ze scoren hoger op introversie. Hun gevoel van eigenwaarde is lager en hun tevredenheid met het leven is lager.
Ze scoren ook hoger op:
-
- empathie
- sociale angst
Daarom moet u zich bewust zijn van deze specifieke kenmerken, vooral als u mensen vraagt om vragenlijsten in te vullen waarbij deze eigenschappen een rol spelen.
Uitdagingen
Het fenomeen van de ‘Super Turkers’
‘Super Turkers’ zijn een klein maar zeer actief segment op het platform. Zij nemen gemiddeld deel aan 10-17 enquêtes per week, aanzienlijk meer dan typische panelleden.
Deze groep is goed voor 40% van alle enquêtes. Zij worden natuurlijk gemotiveerd door geld. De afhankelijkheid van deze zeer actieve respondenten brengt een risico op vertekening van onderzoeksresultaten met zich mee, vooral in studies die gevoelig zijn voor de ervaringseffecten van herhaalde deelname aan enquêtes.
Arbeidsethiek en motivatie
Voor 80% van de MTurkers is inkomen de belangrijkste motivatie. Dit heeft voorrang op interesse in het onderwerp (20%). Deze economische motivatie leidt ertoe dat ze taken snel afronden om hun inkomsten te maximaliseren.
Dit streven naar snelheid kan ten koste gaan van de kwaliteit van de gegevens. Daarom moeten er specifieke maatregelen worden geïmplementeerd om speeders op te sporen, d.w.z. degenen die te snel op enquêtes reageren. Het trainen van MTurkers zou hen een voordeel kunnen geven in termen van reactietijd.
Tot slot raad ik u aan om bijzondere aandacht te besteden aan het ontwerp en de lengte van uw enquête. Net als bij traditionele panels leiden slecht ontworpen of te lange enquêtes tot:
- antwoorden van slechte kwaliteit
- hoge uitvalpercentages
Dus mijn advies aan u is hetzelfde als aan onze klanten: stel niet meer dan 25 vragen of 9 minuten.
Aandachtspunten voor uw projecten op MTurk
Als u een onderzoek wilt uitvoeren met MTurk, zijn dit volgens mij de belangrijkste punten.
Valse identiteit van respondenten
Identiteitsdiefstal, of beter gezegd het claimen van kwaliteiten die de respondent niet bezit, is een reëel probleem. Het is niet specifiek voor MTurk, maar betreft alle panelonderzoeken.
Er zijn verschillende manieren om dit probleem tegen te gaan:
– financiële prikkels verwijderen,
– screeningsvragen stellen, enz.
Vertekening steekproef
Het specifieke profiel van MTurkers zal onvermijdelijk leiden tot vertekening als u een representatieve steekproef wilt maken. Daarom moet u uw steekproef aanpassen voor de volgende aspecten:
1. Leeftijd
2. Ras en etniciteit
3. Geslacht
4. Inkomen
5. Opleiding
6. Burgerlijke staat
7. Religie
8. Politieke ideologie
Aanbevelingen voor het opstellen van het rapport
Om de transparantie en integriteit van uw onderzoeksproject te waarborgen, raad ik u aan om absoluut duidelijk te zijn over:
- compensatie toegekend aan MTurkers
- hun land van verblijf
- demografische basisgegevens van respondenten
Aan de hand van deze feitelijke elementen kan de lezer de betrouwbaarheid en generaliseerbaarheid van de resultaten beoordelen. Deze aanbeveling is echter niet specifiek voor MTurk. Het is een aanbevolen praktijk voor elk kwalitatief of kwantitatief project.
Conclusie
MTurk is een wijdverbreid hulpmiddel geworden voor het uitvoeren van onderzoek, vooral in de sociale wetenschappen. De specifieke kenmerken van MTurkers vereisen echter bepaalde methodologische aanpassingen. Door de demografische, motivationele en gedragskenmerken van MTurkers te begrijpen, kunnen onderzoekers de grenzen van hun studies begrijpen en problemen voorkomen.
Voor meer informatie
Hier vindt u enkele academische artikelen over het gebruik van MTurk in onderzoeken.
Posted in Marketing.
