May 29, 2017 Last Updated 9:23 AM, May 24, 2017

Het peilen van Europa: de Eurobarometer is in nevelen gehuld

Highlights en trends uit het MOA Jaarboek 2017. Dit keer een studie over de onderzoekstechnische haken en ogen van de Eurobarometer. In hoeverre is deze nog betrouwbaar en objectief?

De Eurobarometer is in nevelen gehuld. Sinds de Brexit staat de Europese Unie meer dan ooit ter discussie. Hoe we over de Unie denken kan de toekomst ervan bepalen. Om die meningen te peilen is er de bekende Eurobarometer. Maar over de betrouwbaarheid en objectiviteit daarvan, zijn veel onduidelijkheden.


Onderzoekstitel: Eurobar? Onderzoekstechnische haken en ogen van de Eurobarometer.

Door: Jelke Bethlehem & Joop van Holsteyn


De Eurobarometer is een grote, gezaghebbende opiniepeiling die al sinds de jaren zeventig van de vorige eeuw wordt uitgevoerd in alle lidstaten van de EU. Het is een belangrijk onderzoek, voor burgers, politici en beleidsmakers. En voorwetenschappers uiteraard. Dit langlopende, grootschalige survey-onderzoek wordt in opdracht van de Europese Commissie gemaakt en is gericht op het meten van meningen en houdingen over de Europese Unie en Europese integratie. Vanwege de doorwerking van de Eurobarometer in wetenschap, bestuur en beleid, en publiek debat is het cruciaal dat de data van excellente kwaliteit zijn. Maar is dat ook zo? Er is in de loop der tijd wel methodologische kritiek geleverd op de Eurobaro-meter, maar toch opmerkelijk weinig en met eveneens opmerkelijk gering effect. Velen zijn kennelijk nogal onder de indruk van de Eurobarometer als grote, groeiende en gemakkelijk beschikbare verzameling databestanden. Het eventuele belang van de Eurobarometer ontkennen de schrijvers van dit stuk niet, maar ze stellen wel vast dat deze keizer onder het grootschalig, Europa-breedonderzoek op sommige momenten geen of in ieder geval nogal slordige, wat aftandse kleren draagt.

Eurofiele vertekening

De kwaliteit van survey-informatie hangt sterk af van de manier waarop gegevens zijn verkregen. Voor verantwoord survey-onderzoek moet je methodologische spelregels volgen over onder meer steekproeftrekking, omgaan met non-respons en de eventuele correctie ervan, vraagstelling binnen de vragenlijst, en vergelijkbaarheid van onderzoeken bij een longitudinale ambitie. Het volgen van dergelijke spelregels is geen garantie voor superieure datakwaliteit, maar als de regels niet gevolgd worden, kun je twijfelen aan die datakwaliteit. De onderzoekstechnische blik die de schrijvers van dit artikel op de Eurobarometer werpen, levert twee belangrijke bevindingen op. Ten eerste op meta-niveau: het blijkt erg lastig te achterhalen hoe het onderzoek in zijn werk is gegaan. De onderzoeksrapporten zijn te beknopt en algemeen om relevante methodologische vragen te kunnen beantwoorden; navraag bij verantwoordelijke instanties en organisaties levert niet – en zeker niet eenvoudig – de benodigde extra informatie op. Ten tweede worden op het concrete niveau van de Eurobarometer de methodologische spelregels niet gevolgd, dan wel geschonden. De steekproeftrekking is niet helder, maar de gerealiseerde steekproef lijkt duidelijk af te wijken van een zuivere toevalssteekproef. Van verantwoording van omvang en aard van non-respons is geen sprake en de vragenlijst toont in het formuleren van vragen en aanbieden van antwoord alternatieven regelmatig een structurele vertekening in Eurofiele richting.

Goedgelovig

Het instituut Eurobarometer heeft aanzienlijk gezag. In publiek en politiekdebat wordt, niet zelden kritiekloos, verwezen naar de Eurobarometer en er wordt volop gebruik gemaakt van de bevindingen. Een dergelijke goedgelovigheid lijkt echter misplaatst, zeker omdat onvoldoende transparant is hoe de uitkomsten van de Eurobarometer precies tot stand zijn gekomen. Vertrouwen is misschien goed, maar (methodologische) controle is beter. Net zoals bij ander grootschalig survey- of opinieonderzoek, is het extreembelangrijk dat de Eurobarometer zich aan de spelregels houdt. Er moet meerhelderheid komen over de opzet en uitvoering ervan. Het probleem is niet dat de onderzoekstechnische handboekenwijsheid niet naar de letter kan wordengevolgd - want dan zou vrijwel elk onderzoek praktisch onuitvoerbaar zijn. Het echte probleem is dat onvoldoende helder is in welke onderzoeksfase welke methodologische keuze gemaakt is. Bij de Eurobarometer en andere onderzoeken die de status van instituut hebben (of die willen bereiken), moet het verslag van de werkzaamheden uitgebreider en zeker eenvoudiger beschikbaarzijn. Kortom, de keizer kan best een nieuwe outfit gebruiken.

3 vragen aan Jelke Bethlehem, bijzonder hoogleraar in de survey-methodologie, Universiteit Leiden:

1. Wat boeide jou zo aan de Eurobarometer?

‘Er zijn onderzoekers die zich afvragen hoe goed de kwaliteit van de data en uitkomsten van de Eurobarometer is. Ze krijgen soms de indruk dat de uitkomsten opmerkelijk positief voor de EU uitvallen. De Europese Commissie is tegelijk opdrachtgever en financier van dit onderzoek, en dat voedt de twijfel over de datakwaliteit. Dus vraag je je als wetenschapper af of de Eurobarometer wel een objectief of in ieder geval degelijk en verantwoord onderzoek is. Maar informatie over opzet en uitvoering is niet zo eenvoudig te verkrijgen. Op de website van de Eurobarometer, en ook in de officiële publicaties, vind je te weinig om een goed oordeel te vellen. Van het team van de Eurobarometer bij het Directoraat Communicatie van de EC kregen we helaas ook geen nadere informatie. We werden van het kastje naar de muur gestuurd. De naam Kafka schoot ons toch wel te binnen tijdens onze zoektocht. Daarom probeerden wezelf, zo goed en zo kwaad als het ging, meer te leren over opzet en uitvoeringvan de Eurobarometer. Dat deden we op basis van wat wel beschikbaar was, en de relevante methodologische literatuur.’

2. Wat verbaasde je het meest tijdens je onderzoek?

‘Elke onderzoeker weet dat je transparant moet zijn over de manier waarop jeje onderzoek doet. Geen goed onderzoek zonder goede controleerbaarheid. Alleen dan kunnen anderen beoordelen of je onderzoek goed is uitgevoerd enje de uitkomsten kunt geloven. Daar bestaan internationale richtlijnen voor. Het is verbazend dat het team van de Eurobarometer zich hier niet aan houdt. Daarom weten we bijvoorbeeld niet of de steekproef netjes en volgens de regels wordt getrokken. En we komen ook niets te weten over de mate van non-respons. Kortom, wat betreft de opzet en uitvoering ervan blijft de Euro-barometer te veel in nevelen gehuld. Daardoor kan bij gebruikers van het onderzoek het vermoeden ontstaan – en blijven bestaan – dat de Eurobarometer methodologisch niet helemaal goed in elkaar zit. Verder blijkt dat de gestelde vragen soms sturend zijn, vrijwel altijd richting een positief beeld van de EU. En ja, dan moet je nog meer vraagtekens zetten bij sommige uitkomsten.’

3. Doet men in de praktijk al iets met jouw bevindingen?

‘Onze bevindingen zijn nog niet gepubliceerd. Dus kan men er nog niets mee hebben gedaan. We hopen dat het team van de Eurobarometer dit wel gaat doen. Met behulp van bestaande richtlijnen, van bijvoorbeeld ESOMAR of AAPOR, kan relatief eenvoudig een goede onderzoeksdocumentatie worden opgesteld en gepubliceerd. En uiteraard willen we daar graag bij helpen, indien dat gewenst is.’

1. Doel van het onderzoek

Testen hoe betrouwbaar de datakwaliteit en de uitkomsten van deEurobarometer zijn.

2. Opmerkelijk

Dat het team van de Eurobarometer zich niet aan de internationalerichtlijnen voor onderzoek houdt.

3. Nut

De Eurobarometer transparanter en betrouwbaarder helpen maken.

Lees het volledige artikel op MOAweb: http://www.moaweb.nl/jaarboeken-moa/artikelen-jaarboek-2017/item/3219-eurobar-onderzoekstechnische-haken-en-ogen-van-de-eurobarometer.html

Laatst aangepast op woensdag, 22 maart 2017 13:22