Sloppy science met nauwelijks gecertificeerd medisch apparaat in Radboud UMC

In PLOS ONE, een internationaal, op open access gebaseerd online wetenschappelijk tijdschrift op het gebied van de biologie verscheen op 12 februari 2018 een artikel over het gebruik van een zogenaamd “smart all-in-one device” de CheckMe Pro van de Chinese firma Viatom. De titel was: “A smart all-in-one device to measure vital signs in admitted patients.” Veel vitale functies zou dit apparaat(88x56x13 mm),  kunnen meten. Ik schreef over dit apparaat op 23 januari 2017 al een kritisch artikel. In het nu verschenen artikel beschrijven medewerkers van het ReShape Center van het Radboud Universitair Medisch Centrum(RUMC) en clinici het gebruik van de CheckMe bij opgenomen patiënten met als doel ermee de nauwkeurigheid van zelfmetingen door patiënten te evalueren en te vergelijken met metingen door goed getrainde onderzoekers en door verpleegkundigen. Ondanks het zeer beperkt zijn van het onderzoek, gebreken en onnauwkeurigheden, weet men aan het eind er nog een positief oordeel over te geven. Daarenboven is er sprake van gebruik van een apparaat dat beslist onvoldoende gecertificeerd is voor het beoogde gebruik in een medische instelling.

MEWS

Op ziekenhuisafdelingen wordt om eventuele achteruitgang in de klinische toestand van een patiënt nogal eens de Modified Early Warning Score(MEWS) gebruikt. Deze score berekent men aan de hand van de systolische bloeddruk, ademhalingsfrequentie, lichaamstemperatuur, zuurstofsaturatie, de hoeveelheid toegediende zuurstof en de AVPU-score(Alert, responsive to Verbal stimulation, responsive to Painful stimulation and Unresponsive). Met de CheckMe meet men een simpel cardiogram(één afleiding), hartfrequentie, zuurstofsaturatie en de bloeddruk. De laatste meet men dan zonder manchet maar met een lichtbron in de CheckMe op basis van photoplethysmografie. Zie voor uitleg hier.  De auteurs stellen dat in het doen van de metingen door verleegkundigen, de berekening van de scores en in het invoeren in het elektronische patiënten dossier(EPD) veel tijd gaat zitten en foutenbronnen met zich meebrengt. De CheckMe zou daar, omdat de patiënt zelf in een rap tempo(30 seconden) de metingen  er mee kan doen daar verandering in brengen. De CheckMe berekent die score echter niet en deze zal toch ook ergens centraal op de afdeling door arts of verpleegkundige uitgerekend moeten worden EN ingevoerd in het EPD. Daarnaast moet het meteen al uit de eerste regels van deze alinea duidelijk zijn, dat de CheckMe absoluut niet alle ingrediënten van de MEWS bepaalt en dat de ontbrekende onderdelen toch door personeel alsnog bepaald  en in het EPDS ingevoerd moeten worden.

Bloeddruk

De schrijvers halen in het huidige artikel enkele malen in een noot aan hoe goed de bloeddruk zonder manchet om de arm te meten is. Men schrijft: “BP measurement by the Checkme has been shown to be reliable and accurate in an earlier study [14]. Niets is minder waar. Die publicatie is echter een uiting van uitermate slordige wetenschap(“sloppy science”).  Beschreven staat dat de bloeddruk liggend gemeten werd. Dat kon ook niet anders, omdat de bloeddrukmeting in het eerdere artikel van de schrijvers alleen liggend in de buurt kwam van de met manchet gemeten waarden. De Belg Johan Goris schreef onder het artikel terecht als commentaar, dat beide studies niet gebaseerd zijn op internationale standaarden, die van toepassing zijn op elektronische bloeddrukmeting. Hij schrijft dat de in de artikelen genoemde “gouden standaard”, een andere ambulante bloeddrukmeting als referentie, niet valide is voor valideringsdoeleinden. Geen enkel apparaat dat nu op de markt is dat claimt de systolische ( of diastolische) bloeddruk te meten met photoplethysmografie of andere manchetloze wijze heeft enig bewijs geleverd van slagen bij gebruik van internationale standaarden(IEC-AAMI) of hypertension societies protocols, zoals dat  van de British Hypertension Society of van de European Society of Hypertension. Aldus Goris.

Aantallen

Men heeft in de twee maanden van het onderzoek(in 2016!!) 50 patiënten op de afdeling interne geneeskunde benaderd om mee te werken. Bij 41 lukte het de bloeddrukmeting te kalibreren met als referentie de klassieke bloeddrukmeter. Van die 41 lukte bij 11 de kalibratie pas bij de tweede of derde poging. Uiteindelijk komt men dan tot slechts 68 sets van meetwaarden, nog geen 1,5 per patiënt. Ervaring er mee opdoen door een patiënt was er nauwelijks bij. Ten aanzien van de verwerking blijkt dan ook nog dat van de meetwaardensets die de verpleegkundigen verzamelden er tien afvallen. Ook in meetwaardensets van de patiënten met de CheckMe blijken er uitvallers te zijn. Al met al gaat het nou niet bepaald om indrukwekkende getallen.

Beperkt

Men heeft zich bewust beperkt tot klinisch stabiele mensen. Dan zijn mensen die eigenlijk allemaal een zeer lage MEWS-score hebben, die dicht bij elkaar ligt. Hiermee bouwt men een flinke onderzoeksbias in. De klinische onstabielere mensen zullen mogelijk aanzienlijk slechter de CheckMe kunnen hanteren met negatieve gevolgen voor de meetwaarden. De vergelijking van door zelfmeting of door personeel verkregen metingen is zuiverder als er een veel grotere spreiding is van MEWS-scores.

Certificatie

Apparatuur die in een ziekenhuis gebruikt wordt dient te voldoen aan Europese certificatieregels. Men vermeldt in het artikel een CE-certificatie. Op de CheckMe-website(zie Detailed Technical Specs) is die certificatie niet te vinden, wel dat het apparaat voldoet aan een drietal Europese Directieven: MDD, 93/42/EEC, R&TTE 1999/5/EC en ROHS 2.0, 2011/65/EU. De eerste is een zeer beperkte richtlijn over  de algemene veiligheid van Medical Devices uit 1992. De tweede gaat over de elektronische overdracht van data van het apparaat naar andere apparaten uit 1999 . De laatste gaat over ongewenste afvalstoffen in elektronische componenten uit 2011. Men dient echter niet alleen de veilige werking van het apparaat te certificeren maar ook de functies ervan.

CE0197

De achterzijde van het apparaat laat zien het CE0197 keurmerk zien. Dat wil zeggen dat een Europees certificaat verstrekt is door de Technischer Überwachungsverein(TUV) Rheinland. Het blijkt om een CB-certificaat uit 2014 te gaan dat afgegeven wordt over elektrische apparaten. Geen enkele functie van de CheckMe is nader gespecificeerd en gecertificeerd daarin . De toegepaste richtlijn(IEC 60601-1:2005+Corrigendum 1+Corrigendum 2+A1) zegt eigenlijk alleen wat over de elektrische veiligheid en algemeen werking van het geval. Geen der specifieke functies is dus  gecertificeerd en zeker niet de manchetloze bloeddrukmeting. Die had op zijn minste volgens het British Hypertension Society-protocol gevalideerd moeten zijn. Het lijkt erop dat òf TUV Rheinland heeft zitten slapen, of de fabrikant haar misleid heeft, maar het klopt niet dat er geen afzonderlijke functies gecertificeerd zijn. Het is dus een foute certificatie.

FDA

In de Verenigde Staten is de CheckMe ook ter certificatie aangeboden aan de Food and Drug Administration(FDA) en verkreeg men een certificaat. Daarin is het zeer opvallend dat de manchetloze bloeddrukmeting als functie niet vermeld staat. Deze is dus niet gecertificeerd. Ook staat er nadrukkelijk dat het ECG met de CheckMe niet gebruikt mag worden als vervanging van een diagnostisch ECG dat in een ziekenhuis op de standaardwijze gemaakt wordt en ook niet bij mensen met een pacemaker of geïmplanteerde cardio-defribrillator(ICD).

Sloppy

Het gebruik van een onvoldoende gecertificeerd apparaatje bij een onderzoek, dat aan meerdere kanten rammelt, bewijst de wetenschap geen grote dienst.  Het had gewoon niet gebruikt mogen worden in een ziekenhuis. Het lijkt meer op promotie van een eHealth-gadget. Drijvende kracht daarachter is altijd ReShape geweest met als leider Lucien Engelen. Het is jammer dat clinici van het Radboudziekenhuis zich lieten verleiden tot medewerking hieraan.

W.J. Jongejan