Wat is er gebeurd met het NOPVO?

Het is al weer bijna twee jaar geleden dat het roemruchte Nederlands Online Panel Vergelijkings Onderzoek (NOPVO) werd gepresenteerd. 62% van de respondenten bleek lid van meerdere panels. Gemiddeld was een respondent lid van 2,73 panels.

Het NOPVO team kwam tot een aantal spraakmakende conclusies:

• Er is sprake van een selecte, afwijkende respondentengroep.
• Responsehoogte is niet langer een indicator voor kwaliteit van de steekproef.
• Er is een grote overlap tussen panels waardoor de invloed van panelmanagement de facto beperkt is.
• Panels variëren op de onderzoeksuitkomsten. Dit wordt echter niet verklaard door respons en steekproefsamenstelling.
• Panels worden bevolkt door loyale respondenten, maar ook door gemakzuchtige en professionele vragenlijstinvullers. Vooral gemakzuchtige respondenten leveren dubieuze data.

Aanbevelingen van het NOPVO team:

• Het verdient aanbeveling om deze respondenttypen te identificeren en te monitoren.
• Bij trackings en 0/1 metingen verdient het aanbeveling om niet alleen te matchen op sociaal-demografische variabelen, maar ook op panelhistorische kenmerken zoals panelleeftijd, deelnamefrequentie en respondenttype.

In mijn paper ‘Panel proliferation and quality concerns’ gepresenteerd in april 2005 op het ESOMAR panel congres in Boedapest, was ik tot dezelfde conclusie gekomen. Het NOPVO onderzoek heeft internationaal veel waardering geoogst. Naar verluidt heeft zelfs Don Dillman, goeroe op het gebied van onderzoeksmethodologie zich er lovend over uitgelaten.

Maar wat hebben de onderzoekbureaus in de afgelopen twee jaar met de resultaten en aanbevelingen van het NOPVO gedaan? Helemaal niets ben ik bang. De MOA-bureaus hebben het NOPVO collectief in het ronde archief gekieperd en van de harde schijf gewist. Nog nooit heb ik van een bureau spontaan informatie gekregen over de panelhistorie van de respondenten. Laat staan een analyse waarin het percentage ‘gemaksrespondenten’  wordt opgevoerd als verklaring voor een onverklaarbare daling in de merkbekendheid.

Maar waar de praktijk het laat afweten hebben we altijd de wetenschap nog. Die heeft dit jaar het initiatief genomen voor het oprichten van een Nederlands Platform voor Survey Onderzoek (NPSO). Echter, om met Sjef van Oekel te spreken: “Jammer, maar helaas!”, er was bij de wetenschappers weinig begrip voor de problemen van het ‘commerciële’ marktonderzoek. Zoals ik in april van dit jaar op mijn weblog Faassevision schreef: Laten we hopen dat de geleerde goden een stukje willen afdalen van hun statistische en academische Olympus om de onderzoekers die elke dag met hun voeten in de bagger van de access-panels staan de hand te reiken.

Als de MOA-bureaumethodologen niet allemaal gelijktijdig met het NOPVO zijn afgedankt, laten zij zich dan nu bij het NPSO aanmelden: www.npso.net. Goed onderzoek begint bij de basis. Nederlandse wetenschappers en praktijkmensen hebben binnen het NPSO de kans om samen het fundament leggen voor een praktisch bruikbare, wetenschappelijk verantwoorde nieuwe theorie van de access-panelsteekproef!

John Faasse