Apr 25, 2017 Last Updated 2:09 PM, Apr 21, 2017

Na nepnieuws nu ook nepvragenlijsten

Gepubliceerd in Actueel
Lees 281 keer
Beoordeel dit item
(0 stemmen)

Rotte appels, zo classificeerden van Meurs, van Ossenbruggen, en Nekkers slechte vragenlijsten ooit1. Het waren niet opzettelijk frauderende respondenten die de datakwaliteit nadelig beïnvloeden, maar juist de lange en saaie vragenlijsten; iets wat ook door Jon Puleston van Lightspeed2 in zijn recente pleidooi voor bonsai surveys wordt benadrukt.

Goede vragen en goede vragenlijsten zijn onontbeerlijk voor markt- en sociaalwetenschappelijk onderzoek. Niet voor niets zijn vragenlijsten en het testen van vragenlijsten opgenomen in kwaliteitseisen voor onderzoek, zoals geformuleerd in ISO-20252, de EFAMRO practical guide, en de ESOMAR codes en guidelines. Op hogescholen en universiteiten worden standaardcursussen gegeven over het maken en implementeren van goede vragenlijsten, en methodologische handboeken benadrukken de kunst van het vragenlijst maken. Binnen marktonderzoekbureaus is het een goede gewoonte om de conceptvragenlijst altijd door een tweede ervaren onderzoeker te laten lezen, een mooie vorm van expertevaluatie. Grote statistische bureaus hebben zelfs aparte afdelingen voor het opzetten en uittesten van vragenlijsten, en in de MOAcademy staan natuurlijk ook de do’s & don’ts van vragenlijstconstructie centraal bij de opleiding tot marktonderzoeker.

Sugging en frugging

Vooral die DoNot’s zijn heel belangrijk. Niet alleen bij het maken van uw eigen vragenlijst, maar ook bij het beoordelen van conceptvragenlijsten van collega’s. En natuurlijk om nepvragenlijsten te kunnen onderscheiden van echte bonafidevragenlijsten. Want ja, naast nepnieuws zijn er ook nepvragenlijsten. In Amerika heeft men zelfs speciale termen voor nepvragenlijsten. Daar spreekt men over SUGGING en FRUGGING: Selling Under the GUISE of Research en Fundraising Under the Guise of Research. Dit is geen nieuw verschijnsel en marktonderzoekers doen al jarenlang hun best om duidelijk te maken dat zij echt onderzoek doen. Zo vond in 1999 onder auspiciën van de MOA een grootscheeps experimenteel onderzoek plaats naar de beste introductie van telefonisch onderzoek: welke introductie wint het vertrouwen van de respondent en leidt tot een hogere respons?3

Maar het misbruik van vragenlijsten duurt nog steeds voort. Kortgeleden lanceerde Donald Trump een prachtvoor-beeld van iets wat vele surveydeskundi-gen een misleidende nep-enquête zouden noemen. Fris uw kennis van do’s en vooral don’ts in vragenlijstconstructie eens op en bekijk de vragenlijst op https://gop.com/mainstream-media-accountability-survey/accountability-survey/. Deze vragenlijst is ook uitstekend geschikt als oefenmate-riaal tijdens een cursus. Mijn studenten vonden de vragenlijst tegelijkertijd hilarisch (veel gelach en uitroepen ‘dat kan echt niet’) en beschamend (‘mag zoiets?’). Gelukkig konden ze ook veel van de don’ts aanwijzen. Suggestieve vragen: ‘Do you believe that the mainstream media does not do their due diligence fact-checking before publishing stories on the Trump administration?’; onduidelijke verwoording: ‘Do you believe that contrary to what the media says, raising taxes does not create jobs?’

Cut through the noise

Mijn kritische studenten vroegen zich ook af of de makers van de vragenlijst misschien wel heel goed de DoNot’s van vragenlijstconstructie kenden en deze expres toepasten om bepaalde antwoorden op te roepen. Opzettelijke misleiding dus. Maar het venijn zit in de staart: ‘Thank you for taking the Mainstream Media Accountability Survey. Your input will play a critical role in helping us findways to cut through the noise and deliver our message straight to the voter. But now President Trump is asking you to go the extra mile and make a contribution to help defend our movement from the outrageous attacks from the media coming our way. Contribute now to help us figt back against the media’s attacks and deceptions. Choose donation amount: $35 $75 $100 $250 $500 $1,000 $2,500.’ Frugging! Het heeft er zelfs toe geleid dat de respectabele American Association of Public Opinion Research, de Amerikaanse zusterorganisatie van de MOA, de nek heeft uitgestoken en een verklaring heeft gepubliceerd waarin deze handelwijze veroordeeld wordt.4

Veel opiniepeilers, journalisten en andere politiek bewuste Amerikanen hebben de vragenlijst ook ingevuld. Zoveel, dat Trump nu klaagt dat zijn survey gekaapt is en niet langer de mening van het Amerikaanse volk vertegenwoordigt. Nog leuker is het dat je niet eens Amerikaan hoeft te zijn om de survey in te vullen en te submitten. Er wordt weliswaar om een zipcode gevraagd, maar die wordt niet gecontroleerd: een willekeurige combinatie van vier cijfers werkt ook. Dus als u toch naar https://gop.com/mainstream-media-accountability-survey/ gaat, vul dan ook de vragenlijst eens creatief in.

Auteur Prof. dr. Edith de Leeuw is MOA-hoogleraar Methoden en Statistiek aan de Universiteit van Utrecht.

 


Van Meurs, A., Van Ossenbruggen, R., & Nekkers, L. (2009). Rotte appels? Controle op kwaliteit van antwoordgedrag in het Infomart GfK online panel. In: A.E. Bronner, P.Dekker, E. de Leeuw, L.J. Paas, K. de Ruyter, A. Smidts, en J.E. Wieringa (Red.). Ontwikkelingen in het Marktonderzoek: Jaarboek MOA (63-78). Haarlem: Spaar en Hout. http://moa04.artoo.nl/clou-moaweb-images/images/bestanden/pdf/Jaarboeken_MOA/JaarboekMarktonderzoek2009.pdf

http://blog.lightspeedresearch.com/author/jon-puleston

I am not selling anything: 29 experiments in telephone introductions. International Journal of Public Opinion Research, 2004,19, 4 zie https://dspace.library.uu.nl/handle/1874/29582 of https://dspace.library.uu.nl/bitstream/handle/1874/29582/464.pdf?sequence=1&isAllowed=yhttp://www.aapor.org/Publications-Media/Public-Statements/AAPOR-Statement-on-Trump-Pence-Campaign-Web-Survey.aspx

Dit artikel is overgenomen uit Clou© nr 82, mei 2017

Laatst aangepast op donderdag, 20 april 2017 13:18