Zijn de beste ziekenhuizen bij Elsevier/Lagendijk echt de beste ziekenhuizen?

De Elsevier Onderzoekaanpak doorgelicht (een MOA Audit)

Jaarlijks publiceert Elsevier in samenwerking met Lagendijk een rangorde van de 'beste' ziekenhuizen. Uit een onafhankelijke audit door onderzoeksexperts van de Nederlandse MarktOnderzoekAssociatie (MOA) blijkt dat de opzet en uitvoering van het onderzoek ernstige gebreken vertoont waardoor er geen solide basis is voor het uitbrengen van een
betrouwbare ranglijst.

De geconstateerde gebreken in het onderzoek hebben vooral betrekking op de steekproeftrekking van de deelnemers aan het onderzoek; de gehanteerde werkwijze is niet representatief en zet door zelfselectie de deur open voor aanzienlijke vertekening. Ook het opstellen van de rangorde en vergelijkbaarheid in de tijd laten veel te wensen over.

Naar het oordeel van de onderzoeksexperts van de MOA dient Elsevier/Lagendijk de opzet en uitvoering aanzienlijk te verbeteren om betrouwbare uitslagen te kunnen publiceren. De MOA onderzoeksexperts bevelen verder aan dat op termijn niet alleen de opinies van deskundigen en van patiënten moeten worden meegenomen, maar ook feiten met betrekking tot medische prestaties. Goede beoordeling vraagt om een integrale benadering, zo wordt in de audit gesteld.

Achtergrond

Sinds 1996 publiceert Elsevier in samenwerking met Peter Lagendijk jaarlijks een onderzoek over de kwaliteit van ziekenhuizen in Nederland. Hierbij worden medisch deskundigen als specialisten, het verpleegkader, bestuur/management en huisartsen benaderd om een oordeel te geven over hen bekende ziekenhuizen, inclusief het ziekenhuis waar zij zelf aan verbonden zijn dan wel veel mee te maken hebben.

Bij nogal wat betrokken ziekenhuizen en de NVZ zijn vragen gerezen inzake de onderzoekaanpak van Elsevier/Lagendijk en de wijze waarop de uitslag van het onderzoek tot stand komt en wordt gepubliceerd. Er is contact gelegd met de Nederlandse MarktOnderzoekAssociatie (MOA). Deze ziet het als haar taak de reputatie van het markt-en opinieonderzoek in Nederland te bewaken en waar nodig de gehanteerde standaards van kwaliteit aan de orde te stellen.

De MOA heeft twee onafhankelijke onderzoekexperts, Dr. Lex Olivier en Drs. Mario van Hamersveld gevraagd een 'audit' uit te voeren naar de gehanteerde onderzoeksmethode en verslaglegging door Elsevier/Lagendijk. Deze audit is in de periode augustus 2008 – maart 2009 uitgevoerd op de onderzoeksresultaten van het door Elsevier/Lagendijk uitgevoerde onderzoek in 2008.

Doel van de audit was vast te stellen of het onderzoek en de rapportage een adequaat inzicht geven in de prestaties van de beoordeelde ziekenhuizen. Tevens was de vraag om na te gaan of er verbeteringen kunnen worden aangebracht, en zo ja, welke verbeteringen gewenst zijn.

Zowel Lagendijk als Elsevier zijn in de gelegenheid gesteld om mee te werken aan de audit. Lagendijk heeft hier, ondanks herhaaldelijke verzoeken, geen gebruik van gemaakt. Een deel van de noodzakelijke achtergrondinformatie werd via Elsevier verkregen.

Nadere toelichting

De uitslagen geven geen adequaat inzicht in de 'performance' van de in het onderzoek beoordeelde ziekenhuizen. Wil het Elsevier onderzoek naar de beste ziekenhuis de status krijgen die men zegt na te streven, dan zal niet kunnen worden volstaan met de huidige steekproefopzet, waarbij er sprake is van zelfselectie. Dit wil zeggen dat respondenten (ziekenhuizen) niet zelf mogen kunnen bepalen wie de vragenlijsten invullen en met hoeveel personen men meedoet. Daarnaast beoordelen de deelnemers het eigen ziekenhuis (intern) systematisch hoger dan (zelf gekozen) andere ziekenhuizen: dit wordt het zogenaamde 'haloeffect' genoemd.

Met andere woorden: de non-response factoren zijn niet onder controle en er is geen goede correctie mogelijk voor het zogenaamde halo-effect. Het onderzoek wekt daarmee de schijn manipuleerbaar te zijn en verliest de noodzakelijke autoriteit.

De rapportage in Elsevier, waarbij de focus ligt op ranking is niet valide de ranking is arbitrair vanwege de subjectiviteit van de gehanteerde weegfactoren, en vanwege de afwezigheid van statistische relevanties. De ranking sluit niet aan bij de wijze waarop consumenten de kwaliteit van de ziekenhuizen/specialismen beleven.

Verandering in beoordeling van de kwaliteit kan alleen maar zuiver vastgesteld worden als de methodologie constant blijft. Door de steeds weer doorgevoerde 'verbeteringen' was dit in het afgelopen jaar (2008) niet het geval en gelet op de geplande aanpassingen zullen vergelijkingen in de tijd ook in 2009 beter achterwege kunnen blijven.

Tenslotte

Er zijn diverse onderzoeken met ziekenhuislijstjes (bijvoorbeeld van het AD en Roland Berger). De wijze waarop de lijstjes tot stand komen loopt uiteen, waardoor het overzicht voor geïnteresseerden en het Nederlandse publiek er niet eenvoudiger op wordt. De MOA doet de zorgsector de suggestie aan de hand te streven naar het bundelen van de initiatieven en het opstarten van een branchebreed gedragen hoogwaardig onderzoek. Het is daarbij gewenst een meer integrale opzet te realiseren: met opinies van zowel 'deskundigen', 'patiënten' en officiële instanties, en met een onderbouw van feiten waar mogelijk. Slagvaardiger zelfregulatie, met als vertrekpunt systematisch, onafhankelijk onderzoek, is gewenst.

Voor meer inlichtingen
MOA Center for Marketing Intelligence & Research
Drs. Pieter Paul Verheggen Voorzitter (tel. 06 53 84 35 34)
Dr. A.J. Olivier (tel. 070 32 38 820)
Het volledige rapport kan via onderstaande link worden gedownload.

Reacties naar aanleiding van de MOA Audit:

Adformatie

MOA

De MarktOnderzoekAssociatie (MOA) is een vereniging van bedrijven en instellingen die zich bezig houden met marketing research en marketing intelligence. De MOA bestaat uit vier specifieke bedrijfsgroepen; de marktonderzoekbureaus, de opdrachtgevers van marktonderzoek, de toeleveranciers en de selectiebureaus voor de marktonderzoekbranche.

De MOA heeft als vereniging het doel de kwaliteit van markt-, opinie- en beleidsonderzoek, zowel nationaal als internationaal, in de breedste zin van het woord te bevorderen, ontwikkelen en te stimuleren. Daarnaast behartigt de vereniging de belangen van respondenten, gebruikers en aanbieders van markt-, opinie- en beleidsonderzoek. De MOA streeft naar een ledenbestand van gekwalificeerde onderzoekers die werkzaam zijn binnen bedrijfsleven, overheid en bureaus. Kennis maken en kennis delen staat centraal in deze missie.

Dr A.J. Olivier
Was van 1988 tot 2007 CEO van Research International te Rotterdam. Sinds 2005 Director General van EFAMRO, de Europeesche Federatie van Marktonderzoekassociaties. Van 1990 tot 1996 voorzitter van de “Vereniging van Marktonderzoekbureau’s ’ (nu MOA).

Drs. M.D. Van Hamersveld
Vervulde diverse leidinggevende functies bij Royal Philips.Was daar hoofd wereldwijd marketing onderzoek, zowel bij “Corporate” als “Consumer Electronics”. Was actief voor uiteenlopende not-for-profit organisaties waaronder Esomar- de wereldwijde organisatie van marktonderzoekprofessionals, onder andere als Bestuurslid, President en Director General.