Gebruikerstesten: PGO’s nauwelijks aanbevelenswaard
Op 13 maart 2023 verschenen op de website OPEN-eerstelijn.nl de resultaten van de gebruikerstesten van Persoonlijke GezondheidsOmgevingen(PGO’s). PGO’s zijn apps of programma’s op smartphone/tablet waarin patiënten hun zorgdata kunnen opslaan. Aan het verschijnen van de internetpublicatie is behoudens een vermelding op de website OPEN-Eerstelijn geen ruchtbaarheid aangeven. Dat kan ik ook wel te begrijpen. Martijn Schoormans, coördinator regionale coalities bij OPEN, schrijft dat uit de resultaten geen harde conclusie getrokken kunnen worden. Hij vermeldt evenwel overduidelijk dat gebruikers niet zo positief lijken te zijn over de toegevoegde waarde van PGO’s. Bovendien, en dat is nogal saillant, dat de kans dat mensen een PGO aanbevelen ook nog klein is. Op een schaal van 1 tot 10 scoort dat laatste een 5,3. Daarbij moet men zich wel bedenken dat PGO’s geacht werden op 1 juli 2020 te werken. Dus dat het in 2023 nog steeds aanmodderen is.
Testdoel
In het artikel maakt Schoormans duidelijk dat de gebruikerstesten een tweeledig doel hadden. Namelijk het kijken naar de technische aspecten van de PGO’s en daarnaast een enquête naar de ervaringen van gebruikers. Bij de technische aspecten ging het om het opsporen van bugs en fouten. Daarmee hebben PGO-producenten hun voordeel kunnen doen. Wat al direct complicerend werkt bij de beoordeling is dat sommige gebruikerstesten plaats vonden in het bijzijn van huisarts of assistente en andere testen thuis plaatsvonden.
Ratjetoe
Het op de website gepresenteerde overzicht laat een ratjetoe aan testcombinaties zien van huisartsinformatiesystemen(HIS-sen) en PGO’s. 9 HIS-sen(verticaal) en 12 PGO’s(horizontaal) staan in een grid. Daarbij valt ogenblikkelijk op dat er veel combinaties niet getest zijn. Van de 108(9×12) vakken in het grid zijn 45 ingevuld en 63 niet. Deels zal dat te maken hebben met het feit dat niet elk PGO met elk HIS overweg kan, deels gaat het om ongeteste combinaties. Van twee PGO’s, Drimpy en Vitaalbank is alleen de combinatie met Promedico ASP getest. Voor beide slechts door 1 persoon.
36 van de 45 HIS-PGO-combinaties zijn door minder dan 10 personen uitgetest. Alleen de combinatie Medicom-Qulie(62) en Medicom-Zodos(31) springen eruit. Met andere woorden: het door de gebruikerstesten getoonde testresultaat zegt totaal niets.
Aantallen
De webpagina van Open-Eerstelijn geeft bovenaan weer dat er 333 gebruikerstesten zijn uitgevoerd. Als je naar het eerdergenoemde grid kijkt waarin de aantallen testen vermeld staan dan zie je dat het er 332 zijn. Uit de tekst blijkt dat er in 51 gevallen geen gegevensuitwisseling gelukt is tussen HIS en PGO dat is 51/332 x 100= 15,3 %. Dat s een niet gering aantal. Daar heeft men dus geen werking met uit het HIS geïmporteerde data mee kunnen uitvoeren. Dat maakt die testuitslagen simpelweg waardeloos. Eigenlijk zou het aantal getest PGO’s naar beneden bijgesteld moeten worden tot 332-51=281 personen. Zeer opvallend is dat de meeste testen plaatsvonden met het huisartsinformatiesysteem Medicom. Dat waren er 117 van de 332.
Slecht beantwoorde stellingen
In de gebruikersenquête nam men een aantal stellingen op waarop de testers volgens een schaal konden aangeven wat ze ervan vonden. Slechts de stelling: “Ik kan mijn gezondheid beter in de gaten houden door een PGO te gebruiken” werd door 279 van de 332 testers ingevuld. Andere stellingen werden door veel minder gebruikers beantwoord. Stellingen die minder dan 20 respondenten opleverden toont men niet bij de resultaten. Over hoeveel stellingen dat gaat rept men met geen woord.
Geen conforme vragenlijsten
Niet iedereen kreeg dezelfde vragenlijsten. Schoormans meldt:
“Het aantal antwoorden verschilt per gestelde vraag. Schoormans: “Dat komt voornamelijk omdat er kleine verschillen zijn tussen de vragenlijsten die zijn gebruikt. Er is een drietal vragenlijsten gebruikt die zijn toegespitst op het onderwerp van het OPEN programma waarvoor zij waren bedoeld.” Roorda vult aan: “Het grootste verschil is verklaarbaar doordat 110 patiënten specifiek bevraagd zijn over het gebruik van de mogelijkheid om direct zelfmetingen te sturen naar de huisarts. Aan die patiënten zijn minder algemene vragen voorgelegd over hun ervaring met het gebruik van de PGO’s. “
Terecht
Het is terecht dat Martijn Schoormans stelt dat er geen harde conclusies getrokken kunnen worden. Methodologisch zat het testen en enquêteren zo in elkaar dat zulks niet mogelijk was. Uit wat ik hierboven schreef kan je ook niets anders concluderen. Wat hij wel als harde uitkomst meldt is het harde oordeel van de gebruikers dat kans dat ze een getest PGO aanbevelen aan een ander nog klein achten.
Waarom?
Blijft de vraag waarom men de resultaten van de gebruikerstesten in de huidige vorm gepubliceerd heeft. Enerzijds komt dat doordat men die testen tevoren luid en duidelijk aangekondigd had en geen publicatie toch wel erg vreemd zou staan. Anderzijds lijkt het als ik de toon van het artikel lees ook ingegeven door de gedachte dat men ondanks een startvertraging van twee en een half jaar nog goedsmoeds de PGO-introductieproblemen probeert te verkopen als startproblemen.
Eén ding kan ik wel over deze publicatie zeggen: het is erg triest gesteld met de PGO’s.
W.J. Jongejan, 13 april 2023
Afbeelding van Gerd Altmann via Pixabay
Recente reacties