Ombudsman marktonderzoek - NRC
—
gearchiveerd onder:
MOA Ombudsman
Bron: NRCNext.nl . - door Reinier Kist, 16 november 2010
De selectiemethode van ondervraagden deugde niet. Een paar humeurige verplegers konden zorgen voor een buiteling in de ranglijst.
En de onderzoeker wierp zich ook op als betaald adviseur van ziekenhuizen die een lage waardering wilden voorkomen.
En de onderzoeker wierp zich ook op als betaald adviseur van ziekenhuizen die een lage waardering wilden voorkomen.
Het onderzoek dat weekblad Elsevier sinds 1996 jaarlijks laat verrichten naar de kwaliteit van ziekenhuizen rammelde aan alle kanten. Toch verbinden media én patiënten verregaande conclusies aan dergelijke ziekenhuisranglijsten. De opgelopen imagoschade kan betekenen dat patiënten een ziekenhuis voortaan mijden.
De brancheorganisatie voor markt- en opinieonderzoek MOA gaat nu optreden tegen gebrekkig onderzoek, zoals dat van Elsevier. Daartoe heeft de organisatie afgelopen week een ombudsman aangesteld, die zowel op klachten van klanten als op eigen initiatief ondermaats onderzoek aan de kaak gaat stellen.
Ombudsman Lex Olivier, die de functie vervult met twee collega’s, deed ervaring op met de doorlichting van de ziekenhuizenranglijst van Elsevier. Het weekblad nam onlangs de aanbevelingen ter harte en kwam dit jaar met een gewijzigd onderzoek.
Hoofddoel is de goede naam van de branche hoog houden. „Het is puur eigenbelang,” zegt Olivier. Onbetrouwbaar en misleidend onderzoek heeft namelijk twee vervelende gevolgen voor alle onderzoeksbureaus, zegt de ombudsman. „Ten eerste gaat het publiek door de toename van onzinonderzoeken steeds minder waarde hechten aan aan de resultaten van serieuze peilingen. Ten tweede zullen respondenten minder vaak geneigd zijn mee te werken aan een onderzoek als zij vaak misleidend of onprofessioneel zijn benaderd.”
In zijn strijd tegen gebrekkige peilingen heeft Olivier geen juridische sancties tot zijn beschikking - slecht of misleidend onderzoek is niet strafbaar. Blijft over: naming and shaming. „We gaan op zoek naar veel voorkomende fouten, en pikken er vervolgens één serieuze speler uit. Die pakken we aan in de vakpers en eventueel ook de landelijke pers.” Maar het hoeft niet altijd zo ver te komen, zegt Olivier. „Elsevier paste de onderzoeksmethode voor hun ziekenhuisranglijst aan, nadat wij het weekblad op haar fouten hadden gewezen.”
Het gevaar van gebrekkige opiniepeilingen is dat de onderzoekers niet meer rapporteren over de publieke opinie, maar hem zelf sturen. „Neem het voorbeeld van oud-minister Camiel Eurlings,” zegt Olivier. „Eurlings beschouwde de resultaten van de ANWB-ledenenquête over kilometerheffing als de mening van ‘de automobilist’.”
„Opiniepeilingen zijn alomtegenwoordig, ze hebben invloed op onze keuzes en hun aantal neemt sterk toe”, zegt Olivier. Steeds meer media publiceren peilingen, en steeds meer commerciële organisaties gebruiken opiniepeilingen om de pers te halen. Hoe is die groei te verklaren? „De voornaamste oorzaak is dat de mening van de Nederlander peilen nog nooit zo goedkoop is geweest. Iedereen kan op een website een onderzoekje opzetten.” De keerzijde is dat die onderzoeken vaak niet-professioneel worden uitgevoerd. Zo doen de media vaak zelfstandig peilingen terwijl ze daar geen gespecialiseerde mensen voor in dienst hebben.
Ook commerciële onderzoeksbureaus voldoen volgens Olivier lang niet altijd aan de eisen. „Het is heel makkelijk om de uitkomst van een onderzoek te sturen met suggestieve vragen”, zegt Olivier „Noem het feit dat er doden zijn gevallen in Uruzgan, en mensen zullen sneller geneigd zijn te antwoorden dat het beter is geen troepen naar Afghanistan te sturen. Helaas gebeurt dit nog veel te vaak.”
WRR-onderzoeker Will Tiemeijer promoveerde op opiniepeilingen en is auteur van het boek Wat 93,7 procent van de Nederlanders moet weten over opiniepeilingen. Hij deelt de waarneming dat er grote kwaliteitsverschillen zijn bij markt- en opiniepeilingen. „Veel bureaus gooien er met de pet naar. Een even groot probleem is dat journalisten vaak peilingen overnemen terwijl ze die niet kritisch hebben doorgelicht.”
Bij de manier van vragen stellen gaat het vooral mis, zegt Tiemeijer. „Maurice de Hond heeft een website gelanceerd waarop bezoekers kunnen stemmen op Kamermoties, de schaduwkamer.nl. Het probleem is dat zij geen toelichting bij de moties krijgen. Zo krijg je allerlei meningen over zaken waar mensen vaak geen verstand van hebben en waarvan ze de context niet kennen. Hoognodig dus, zo’n ombudsman.”
Maar er is ook een andere manier om naar de aanstelling van de ombudsman te kijken. Bij de MOA aangesloten bureaus, zoals TNS
NIPO, Synovate en Motivaction, worden niet door Olivier en zijn team beoordeeld. De ombudsman wekt zo de schijn behalve kwaliteitsbeoordelaar ook een schaakstuk te zijn in de concurrentiestrijd tussen de MOA en onafhankelijke bureaus, zoals Peil.nl van Maurice de Hond.
Niets van waar, zegt Lex Olivier. "Bij de MOA aangesloten bureaus hebben een kwaliteitscode onderschreven. Wijken ze daarvan af, dan kan dat leiden tot juridische sancties, zoals uitsluiting van de vereniging. MOA-leden worden dus juist harder aangepakt als zij de regels overtreden dan niet-leden.”
Maurice de Hond heeft echter weinig vertrouwen in het zelfreinigende vermogen van de MOA. „In 2003 en 2004 heb ik mijn beklag gedaan bij de organisatie over de beweringen die twee van hun leden over mijn onderzoek deden in de media. Hoewel ik mijn gelijk empirisch kon bewijzen, heeft de MOA die klachten nooit behandeld. Ze wilden natuurlijk niet aan twee vooraanstaande leden komen. Het gekke is dat bijna alles waar deze bureaus destijds kritiek op hadden, zoals internet gebruiken voor onderzoek en dagelijks peilingen doen, nu door henzelf in praktijk wordt gebracht.” En als de ombudsman bij De Hond aanklopt? „Dan zal ik me daar weinig van aantrekken. Laat ze maar beginnen bij de eigen organisatie.
OMBUDSMAN MOA, Center for Marketing Intelligence & Research
Arlandaweg 92
1043 EX Amsterdam
e-mail: ombudsman@moaweb.nl
* Klik op de plaatjes voor een vergrote versie
