Overdreven positivisme over Apple Heart study met smartwatch
Op 16 maart 2019 kwam de Stanford University in de V.S. met de voorlopige resultaten van een in 2017 in samenwerking met Apple opgezette studie. Die gaat over het detecteren van boezemfibrilleren (atriumfibrilleren) met behulp van de Apple smartwatch. De resultaten die men meldt lijken aardig, maar er valt nogal wat op af te dingen. Stanford en Apple brengen het als een doorbraak in het detecteren van atriumfibrilleren(AF) in de populatie. Het is echter maar een beperkt hulpmiddel vanwege de niet al te grote nauwkeurigheid. Dat valt niet direct op door de manier van presenteren van de voorlopige resultaten. Veel media in de USA, maar ook diverse in Nederland doken er dan ook gretig bovenop om het positief te labelen. Het detecteren gaat echter gepaard met nogal wat onnauwkeurigheid. Lang niet alle personen met AF spoort men met de smartwatch op. Afwijkend bevonden smartwatch-meldingen zijn bij lange na niet allemaal terug te vinden met de gouden standaard: het ECG. Bovendien is het onmogelijk om met de studie na te gaan of mensen die geen afwijkende melding krijgen ook allemaal geen AF hebben.
Onderzoek
Het onderzoek vond plaats met medewerking van 400.000 gebruikers van een Apple Smartwatch type 1, 2 en 3. Deze sporen ritmestoornissen optisch op met behulp van PhotoPlethysmoGrafie(PPG). Daarmee vindt detectie van veranderingen in de vaatdoorstroming plaats door middel van licht. De Apple smartwatch 4 die een éénkanaals ECG kan maken gebruikte men niet in de studie. De opzet omschrijft men als : a screening, prospective, single-arm pragmatic study. Een dergelijk opzet laat dan ook geen duidelijke conclusies toe over de nauwkeurigheid van de detectiemethode. Uitsluitend dat je iets kunt detecteren. Maar ja, dat wisten we al.
Methodologie
Gebruik maken van optische detectie brengt automatisch met zich mee dat er problemen kunnen spelen bij aanwezigheid van beharing, tatoeages op/rond de pols en niet te vergeten de huidskleur. Je kunt door de huidkarakteristieken zeker gevallen van AF missen. Er kan een overduidelijke selectie van de deelnemers door plaatsvinden omdat een oververtegenwoordiging van mensen met een lichte huidskleur zal plaatsvinden. Door het niet gelijktijdig registreren van een ECG worden die gevallen dan gemist. Ze vallen dan onder dan onder de zogenaamde fout-negatieven, die door de opzet van het onderzoek nooit gemeld kunnen worden.
Publicatie
Wat staat in het persbericht aan conclusies:
- Overall, only 0.5 percent of participants received irregular pulse notifications, an important finding given concerns about potential over-notification
- Comparisons between irregular pulse-detection on Apple Watch and simultaneous electrocardiography patch recordings showed the pulse detection algorithm (indicating a positive tachogram reading) has a 71 percent positive predictive value. Eighty-four percent of the time, participants who received irregular pulse notifications were found to be in atrial fibrillation at the time of the notification.
- One-third (34 percent) of the participants who received irregular pulse notifications and followed up by using an ECG patch over a week later were found to have atrial fibrillation. Since atrial fibrillation is an intermittent condition, it’s not surprising for it to go undetected in subsequent ECG patch monitoring.
- Fifty-seven percent of those who received irregular pulse notifications sought medical attention.
2000 gevallen?
Het persbericht meldt dat 0,5% van de deelnemers een melding van een onregelmatige polsslag kreeg van de smartwatch. Men zegt dat zoiets meevalt, omdat er bij critici bezorgdheid was over mogelijk teveel loze meldingen. Kijk je naar het percentage deelnemers dat bij een melding naderhand een ECG liet maken dan blijkt het AF bij slechts 34 % (dus ongeveer 680 en niet 2000 van de 400.000) bevestigd te kunnen worden. Dat is laag en is deels te verklaren door het niet continu voorkomen van AF, waardoor de ECG registratie achteraf het AF kan missen. Je moet daarbij ook bedenken dat er meer ritmeafwijkingen bestaan dan alleen AF.
Vergelijken
In de tweede conclusie stelt men, dat bij vergelijken van meldingen van een onregelmatige pols met de smartwatch met tegelijk het meten van een ECG een positieve voorspellende waarde van 71% gevonden wordt. Dat is in mijn ogen teleurstellend laag. De positief voorspellende waarde is het deel van de onderzochte personen met een positieve testuitslag die AF ook daadwerkelijk heeft. Idealiter moet dat tegen de 100% zijn. Anders mis je gevallen van AF. Blijkbaar mist de smartwatch er 29 op de 100. Daarnaast moet je ook weten wat de negatief voorspellende waarde is. Dat is het deel van de onderzochte personen zonder melding van de smartwatch, die het AF ook daadwerkelijk niet heeft. Je wilt immers niet dat mensen ten onrechte niet gewaarschuwd worden. Die waarde geeft men niet op. Hij is trouwens ook niet te bepalen bij de beschreven studieopzet. Het weten ervan is echter wel van wezenlijk belang om een zuiver oordeel over de nauwkeurigheid, dus het nut, van de PPG-metingen te kunnen geven.
Beperkt nut
Het gebruik van de smartwatch voor het detecteren van AF is van beperkt nut. Je detecteert er niet alle gevallen van AF mee. Je weet niet welke mensen je er mee mist, maar ook niet of alle mensen die niet een waarschuwing kregen, het AF niet hadden. Met een beetje kritische blik moet je wel constateren dat deze wijze van opsporen van atriumfibrilleren niets anders is dan met een grove hark door de populatie gaan. Om dan vervolgens te kijken wat er in de hark is blijven hangen. Marketing technisch kan het aardig zijn om de smartwatch voor een dergelijk doel te promoten, maar voor populatiebewaking met betrekking tot een ziekte stelt het niet veel voor. En het bevordert overbodig gepieker bij gezonde gebruikers.
W.J. Jongejan, 20 maart 2019
Al vaker beschreef ik overdreven positieve “wetenschappelijke” studies over de zognaamde “grote” mogelijkheden van smartwatches bij ziektedetectie.
19-06-2017 https://zorgictzorgen.nl/onderzoek-wearables-bepaald-vlekkeloos-sloppy-science/
24-11-2017 https://zorgictzorgen.nl/sloppy-science-met-apple-watch-samen-met-cardiogram-app/
27-03-2018 https://zorgictzorgen.nl/apple-watch-bijt-weer-in-het-zand-als-medisch-diagnostisticum/
28-12-2018 https://zorgictzorgen.nl/goedgekeurd-door-fda-dekt-bij-ehealth-gadgets-meestal-lading-niet/
Recente reacties