Over cherry-picking, appels met peren vergelijken en oliebollen

Wat hebben ranglijsten in de zorg en oliebollen met elkaar gemeen? Dat ze niets zeggen over wat ze pretenderen aan te geven. De rangorde op dergelijke lijsten berust zogenaamd op het meten van kwaliteit. De moeilijkheid is echter wat je onder kwaliteit verstaat en wat de validiteit is van de gehanteerde methodiek. Voor de somatische zorg presenteren het Algemeen Dagblad en Elsevier al jaren jaarlijks ranglijsten van ziekenhuizen. Voor de geestelijke gezondheidszorg(GGZ) verzamelt de Stichting Benchmark GGZ(SBG) Routine Outcome MonitoringROM)-data en pretendeert daarmee een rangorde van GGZ-instellingen te kunnen maken. Al dat soort lijsten zijn te manipuleren. Is het niet door subjectieve keuzen bij het opstellen van protocollen dan wel door het toepassen van selectie. Het vermakelijke is ook dat bij het vergelijken van rangordelijsten van ziekenhuizen door de tijd dat er weinig tot geen consistentie in het resultaat door de jaren heen is. Ook zijn er grote verschillen tussen de ranglijsten van onderzoeksbureaus in hetzelfde jaar.  In de GGZ speelt naast het feit dat ROM-data niet bedoeld en geschikt zijn voor benchmarken ook dat door het kiezen binnen de behandelpopulatie en de behandelduur door een bepaalde instelling de uitkomst sterk beïnvloed kan worden.

Rangorde SBG

Op 23 september j.l. liet ik in een artikel zien dat U-Center, een nogal commercieel ogende GGZ-behandelinstantie, door selectie op het gebied van de diagnose, financiën, intellect en lengte van behandeling de rangorde zelf sterk kan beïnvloeden. In een recente uitzending van Nieuwsuur over het gebruik van ROM-data in de GGZ figureerde de oprichter en directeur, Jan Willem Poot van een even commercieel ogende organisatie,  de Yes We Can Clinic. Deze kliniek behandelt jeugd van 13 tot en met 23 jaar en heeft  een evident commerciële uitstraling. Hij bleek in de uitzending een warm voorstander van het gebruik van ROM-data voor benchmarking. In krantenartikelen maar ook in het eigen jaarverslag steekt de heer Poot niet onder stoelen of banken dat zijn instelling in 2017  een hoge plaats op de SBG-ranglijst heeft. Hij meldt in januari 2018 in het Brabants Dagblad dat hij op de vierde plaats van 130 GGZ-instellingen staat

Cherry-picking

De Yes We Can Clinic doet aan een duidelijke selectie aan de poort. Uitsluitingscriteria worden genoemd. Kort na behandelingen in de GGZ is er vaak een positief effect van de bemoeienis aan de patiënt te merken. De behandeling van de Yes We Can Clinic is standaard 10 weken intern met daarna 10 weken niet klinische nazorg.  Langer durende zorg kent men niet. Door de gekozen behandelperiode van 10 plus 10 weken is er eigenlijk alleen zicht op een korte termijn effect en geen duidelijk beeld van lange termijn effecten van de zorg. Zo zijn milde depressies binnen drie tot zes maanden meestal self-limiting.  Chronische zorg ontbreekt bij Yes we Can. Ook zorg voor de psychotische jeugdige.

Appels en peren

Het vergelijken van GGZ-instellingen in een rangorde, met een niet-valide instrument als de ROM-Delta-T-score, komt overeen met het vergelijken van appels en peren. Instellingen die zeer complexe zorg aan chronische patiënten leveren zullen om eerder genoemde redenen nooit hoog in de rangorde kunnen eindigen. Er zijn ook geen grote aantallen instellingen met hetzelfde  aanbod als Yes We Can waardoor het onderling vergelijken zeer moeilijk, zo niet onmogelijk is.

Zeer commercieel

Het bieden van kortdurende zorg met een geselecteerde populatie in behandelcentra als U-Center en de Yes We Can Clinics lijkt commercieel aantrekkelijk. Het concept van de beide zorgaanbieders ademt dat aan alle kanten. Kwistig strooit men in het jaarverslag met hoge scores van SBG, GGZ Thermometer 18 min en Zorgkaart Nederland(aanbeveling: 99%)(pagina 2 van 22). Die laatste score is al onwaarschijnlijk hoog. Nog aparter is het bij het aantal waarderingen dat gegeven is. Nu op 6 januari 2019 vermeldt Zorgkaart Nederland  915 waarderingen met een gemiddeld rapportcijfer van 8,5. Als je het vergelijkt met een zeer groot en gerenommeerd ziekenhuis als het Universitair Medisch Centrum Utrecht dan zie je daar 329 waarderingen met een gemiddeld cijfer 7,8 met 80% aanbevelingen. Dit soort cijfers laat zien dat er een duidelijke sturing is bij het indienen van de waarderingen vanuit de instelling zelf.  Hans Verheul, cardioloog, waarschuwde er in 2016 al voor in Medisch Contact.

WNT

Commercieel gaat het blijkbaar ook zo goed dat de heer Poot al in 2013 en 2014 zich bij een instelling waar toen rond de 200 patiënten per jaar werden behandeld zich respectievelijk  198.230 en 206.478 euro liet uitbetalen. Dat was hoger dan de Balkenende-norm(Wet Normering Topinkomens). Het mocht omdat het contract van 2011 dateerde en onder de overgangsregeling viel. Van na 2014 zijn geen cijfers over honorering van bestuurders te vinden. Het jaarverslag vermeldt slechts goedkeuring van de cijfers  door accountant BDO.

Cynische scherts

Ongetwijfeld had psychiater Menno Oosterhoff op 14 februari 2018 in zijn column op Medisch Contact de situatie rond dit soort klinieken voor ogen toen hij “Ik ga commercieel” schreef. Ik kan het iedere serieuze criticus van het huidige rangorde-circus van harte ter lezing aanbevelen.

W.J. Jongejan, 7 januari 2018