Over de giga GGZ-datahonger van ZN via SBG en het imputeren

Door discussie rond het verplicht aanleveren van ROM-data aan de Stichting Benchmark GGZ, kortweg SBG, komt gaandeweg aan het licht welke omvang die rapportage heeft. Bij dit alles moet overigens niet vergeten worden dat de SBG slechts een instrument, noem het een uitvoeringsorgaan, van Zorgverzekeraars Nederland(ZN) is om massaal informatie over behandelingen in de geestelijke gezondheidszorg ten behoeve van benchmarking en zorginkoop. Het is een uitvoeringsorgaan van ZN te noemen, omdat de SBG volledig door de zorgverzekeraars betaald wordt. Bij Routine Outcome Monitoring(ROM) gaat het om scoringslijsten die de patiënt invult voor tijdens en na de therapie om te evalueren of deze er met therapie op voor- of achteruit gaat. De informatie die voor de verzamelde zorgverzekeraars vergaard wordt met scoringslijsten gaat niet alleen over het welbevinden van de patiënt maar ook over bijv. de lesgroep waarin een kind zit,  een signalerende en diagnosticerende spellingstoets die de spellingvaardigheid van leerlingen in groep 3 tot en met 8 in kaart brengt,   het middelengebruik van de patiënt of het gevoel van competentie bij het verstrekken van mantelzorg om maar eens enkele  buitenstraatjes  te noemen. Niet alleen therapie-effecten dus, maar ook totaal andere informatie.

Giga-hoeveelheid

Op de website van de SBG is één webpagina ingericht met informatie over alle scoringslijsten die aangeleverd kunnen worden. Onder de titel Factsheets meetinstrumenten staan in pdf-formaat vijfenzestig scoringslijsten vermeld met omschrijving, achtergrondinformatie, omvang en wijze hoe de SBG er een T-score aan de ingestuurde data geeft. Het verschil tussen twee metingen bij één patiënt noemt de SBG dan de delta-T. Die zou volgens hen dan een maat zijn voor de voor- of achteruitgang De delta-T wordt  dan weer gerapporteerd in de BRaM. Dat is de Benchmark Rapportage Module. De hoeveelheid vragenlijsten en de omvang en de gevarieerdheid van de lijsten geven aan welke enorme datahonger men de zorgverzekeraars hebben.

Pseudowetenschappelijk

De wijze waarop een T-score berekend wordt met ingevulde scoringslijsten ademt een soort wetenschappelijke sfeer. Bij testen in de genoemde “Factsheet meetinstrumenten” staan in een aantal gevallen de berekeningen waarmee men tot die T-score komt. Laten we eens de HoNOS65- test nemen. De omschrijving geeft aan dat dit de Health of the Nations Outcome scales is voor 65-plussers. Bij de berekening van de T-score voor deze test zien we:

22,1833816125907 + (2,97045233119482 * RS) + (-0,0778676837802293 * RS^2) + (0,00114867668351895 * RS^3)

Met getallen die tot 17 decimalen achter de komma hebben wordt een abstract universum gecreëerd met als basis een test die helemaal niet bedoeld is voor benchmarking en zorginkoop en slechts beoogt de therapie van een individu te volgen en te helpen bij het aanpassen van die therapie. Wat de SBG hier doet is een pseudowetenschappelijk bouwwerk maken.

Imputeren

Tot voor kort had ik geen idee wat imputeren voor bezigheid is. De SBG blijkt zich hiermee bezig te houden als er scoringslijsten aangeleverd worden waarin items ontbreken. Het gaat bij het imputeren (input leveren) om het door SBG softwarematig invullen van niet ingevulde items in opgestuurde vragenlijsten. In de factsheets over de vragenlijsten wordt duidelijk dat indien maximaal twintig procent van de vragenlijsten ontbreekt de SBG de ontbrekende waarden invult met het gemiddelde van de wel ingevulde waarden. Zie hiervoor in deze link in de rubriek Totaalscore de paragraaf Missende Items( maximaal aantal).  De SBG weet namelijk zeer goed dat ze nooit van alle patiënten uit de GGZ scoringslijsten zal ontvangen. Zo doet de vakgroep psychiatrie van  Universitair Medisch Centrum van Maastricht principieel niet mee met het opsturen van ROM-data. Men schat bij de SBG van 50 tot 70 procent van de DBC’s bruikbare rapportages te ontvangen. Als daarbij de niet volledig ingevulde uitgesloten  moesten worden, zouden er toch wel weinig data overblijven. Vandaar het imputeren. De vraag is wie de SBG controleert of deze niet meer dan de door haar zelf genoemde twintig procent aan missende data imputeert,.

Hele wetenschap

Ik heb altijd gedacht dat het zelf invullen van data in wetenschappelijke studies een doodzonde is, maar er blijken hele wetenschappelijke verhandelingen te bestaan over het imputeren. Op wikipedia  vindt men er al iets over, maar ook ons aller Centraal Bureau voor de Statistiek(CBS) besteedt er aandacht aan. Imputeren blijkt op grotere schaal voor te komen dan ik dacht.

Probleem

Hoewel de SBG op haar website in de paragraaf “Representiviteit en selectieve uitval”  het imputeren uitgebreid bespreekt en vergoelijkt maakt het gebruik van deze methode de betekenis van de door de SBG produceerde cijfers boterzacht. De ROM-systematiek is namelijk ten enenmale niet geschikt voor benchmarking en zorginkoop.  Het forceerde rekenwerk aan de uitkomsten van de scoringslijsten om aan T-score en delta-T te komen is een pseudowetenschappelijk bezigheid die het gecijfer een wetenschappelijk tintje moet geven. Als je dan ook nog de scoringslijsten waar data aan ontbreken niet uitsluit maar gaat aanvullen met imputeren dan heb je uiteindelijk uitkomsten die uitermate onbetrouwbaar zijn.

W.J. Jongejan