Lancering MOA Panel Instituut
Amsterdam, 10 maart 2009
State of the art panelmanagement. Structurele verbetering van de
kwaliteit van online panels. Dat zijn de hoofddoelstellingen van het
MOA Panel Instituut (MPI) dat in Nederland op 10 maart jl. werd
gelanceerd. Directe aanleiding voor de oprichting van het MPI is het
NOPVO: het Nederlands Online Panel Vergelijkings Onderzoek. In 2006
bleek daaruit dat een substantieel aantal online panelleden
tegelijkertijd aan meerdere panels deelneemt. Aangezien dit de
betrouwbaarheid van onderzoeksuitkomsten kan schaden, besloten
onderzoeksbureaus, opdrachtgevers en de MOA (Center for Marketing
Intelligence & Research) dat er snel een instrument moet komen voor
kwaliteitsmonitoring. Uiteindelijk resulteerde dit in het MPI: een
wereldprimeur.
Paneldruk en -overlap
In concreto focust het MPI op twee kwaliteitsaspecten van online
panels. Ten eerste, vermindering van de paneldruk: het aantal
uitnodigingen dat een panellid ontvangt voor deelname aan onderzoek.
Ten tweede, inventarisatie van de mate van paneloverlap: het aantal
panels waar een panellid geregistreerd staat. Ultiem doel is de
zogenaamde 'beroepsrespondent' uit te bannen.
Database
Het MPI is een database waarin onderzoeksbureaus hun panelleden kunnen
uploaden. Elk contact met een individueel panellid wordt geregistreerd,
zegt Bertjan Schouten, MPI-projectleider. 'Wanneer, hoe vaak en voor
welk onderwerp is een panellid uitgenodigd? En heeft hij daadwerkelijk
deelgenomen aan het onderzoek of niet? Over een zelf te bepalen
historische periode kunnen onderzoeksbureaus zowel een bureau- als een
benchmarkrapport downloaden. Het bureaurapport geeft inzicht in de
onderzoekshistorie van elk van de eigen panelleden, gespecificeerd naar
achttien productcategorieën (zoals automotive, banken, verzekeringen,
telecom, huishoudelijke apparatuur, etc.). Het benchmarkrapport maakt
duidelijk hoe vaak en voor welk onderwerp elk eigen panellid ook nog is
uitgenodigd door andere panels en of daadwerkelijk aan het onderzoek is
deelgenomen', aldus Schouten.
Het uploaden van de e-mailadressen van de panelleden is door
versleuteling volstrekt veilig. Software- en databasespecialist CDDN
ontwikkelde de software die de geüploade data analyseert, de query's
uitvoert en de rapporten samenstelt.
Vanaf december 2008 is het systeem uitgebreid getest door de
panelrecords van vijf onderzoeksbureaus in de database te uploaden en
de software query's te laten draaien.
Benchmark op kwaliteit
Met het MPI kunnen onderzoeksbureaus hun eigen kwaliteitsstandaarden
ijken met die van de branche. Er is exact inzicht in de mate waarin de
eigen panelleden aan meer of minder paneloverlap en -druk worden
blootgesteld dan gemiddeld is voor de branche.
Het bieden van dit inzicht, is een eerste stap van het MPI.
Uiteindelijk is de verwachting dat onderzoeksbureaus hun
kwaliteitsstandaarden ook actief gaan bijstellen, ofwel maxima zullen
stellen aan de mate van paneloverlap en -druk. Dit voorkomt
overbelasting van respondenten en bovenal is het een manier om
kwaliteitsverantwoording af te leggen aan opdrachtgevers. Overigens is
de kans groot dat opdrachtgevers inzicht zullen gaan eisen in de hoogte
van genoemde ratio's.
Het MPI zal geen waardeoordelen uitspreken of kwaliteitsstandaarden
gaan formuleren. De online panelkwaliteit die een bureau wil nastreven
is een volledig eigen verantwoordelijkheid en dus een eigen beslissing.
Het MPI biedt slechts feitelijk inzicht in de mate van paneloverlap en
-druk.
Participatie
Volgens MOA-directeur Wim van Slooten is het MPI een wereldprimeur. 'In
the VS werken ze aan iets vergelijkbaars, maar dat staat nog in de
kinderschoenen. Nergens ter wereld zijn ze zo ver als in Nederland. De
experimenten in de VS zijn een tastbaar bewijs voor de behoefte aan een
instrument dat de kwaliteit van online panels kan monitoren en
beheersen. Ook toont het aan dat de Nederlandse onderzoekssector
openstaat voor innovatie en zichzelf continu wil verbeteren.'
Van Slooten heeft er dan ook het volste vertrouwen in dat de meeste, zo
niet alle bureaus zullen participeren in het MPI. Zeer belangrijk omdat
het MPI vooral dan haar waarde kan bewijzen. 'Met participatie in het
MPI zeg je als bureau dat je kwaliteit wilt leveren. En als je niet
deelneemt, is de kans groot dat opdrachtgevers dat van je zullen gaan
eisen. Dat gebeurde ook met de Gouden Standaard; opdrachtgevers gingen
daar op een gegeven moment actief om vragen.'
