Stuitende reactie makers AI-triage-app Babylon op serieuze criticus

In het Verenigd Koninkrijk is vanaf eind 2017 binnen een samenwerkingsverband van huisartsen(GP At Hand) in Londen de triage-app Babylon in gebruik. Deze app werkt als chatbot bij hulpvragen bij die huisartsen. Er bestaat van diverse kanten uit medische hoek in het V.K. serieuze kritiek op deze app. Eén van die critici publiceerde zijn bezwaren o.a. op Twitter onder het pseudoniem @DrMurphy11. Afgelopen maandag 24 februari 2020 verzorgde hij een bijdrage op een bijeenkomst  van de The Royal Society of Medicine’ gewijd aan “Recent developments in AI and digital health 2020“. Hij gaf daar aangekondigd als Dr Murphy, onder zijn eigen naam David Watkins, een presentatie waarin hij opriep tot meer onafhankelijke verificatie van claims die Babylon Health, het bedrijf achter de app, ventileert. Ook riep hij op tot het minder hypen van een dergelijke app. Diezelfde dag kwam Babylon Health met een ongemeen harde en stuitende persverklaring.

Reactie

In dat persbericht beschuldigt het bedrijf Babylon Health  Watkins, oncoloog in het Royal Marsden Hospital in Londen, van het gedurende lange tijd lastig vallen van staf, partners en klanten van het bedrijf naast regelgevers en journalisten. Men beschuldigt hem van het verzenden van tweets met een lasterlijke inhoud door middel van Tweets. Waar David Watkins echter al ruim drie jaar aandacht voor vraagt zijn de onnauwkeurige en onjuiste uitkomsten van de triage-app Babylon in het geval van levensbedreigende situatie.

Werkwijze Watkins

Hij deed dit door in de app fictieve patiënten in te voeren met fictieve klachten. Zo schatte de app bij een man met pijn op de borst de situatie in als een hartinfarct, terwijl bij een vrouw de diagnose hysterie op de eerste plaats stond. Ook waarschuwde hij voor de differentiaaldiagnose die de app gaf bij een fictieve 67 jarige rokende blanke patiënt met overgewicht met diabetes en hoge bloeddruk die pijn op de borst zou hebben. Daar komt Babylon met de diagnose gastro-oesofageale reflux of gastritis zonder ergens ook maar bij de vijf opgegeven diagnoses de mogelijkheid van een hartinfarct te vermelden.

Stuitend

De inhoud van het persbericht van Babylon Health is ronduit stuitend. Babylon Health gaat zelfs zo ver door hem een Twitter-trol te noemen. Men gaat er met een gestrekt been in zonder tot te kern te komen. Dat is dat de app in een aantal gevallen diagnostische informatie verschaft die niet klopt. Babylon Health roept aldoor dat zij constant bezig is haar product te verbeteren, maar testen van David Watkins in 2017, 2018, 2019 en 2020 laten zien dat het voorbeeld van de rokende 67 jarige uit de vorige alinea nog steeds dezelfde onjuiste  uitkomst geeft. Watkins meldde de slechte resultaten van de app aan de Care Quality Commission.  Die lijkt behalve het beleefd in gesprek gaan met Babylon Health verder niets gedaan te hebben.  De berichtgeving van David Watkins was en is op Twitter medisch gezien telkens medisch zakelijk en to-the-point, met een video aan het bericht gekoppeld. In de video dan de wijze waarop hij de data invoerde en wat de uitkomst was.

Media-aandacht

De ongemeen felle reactie van Babylon Health heeft zeer brede media-aandacht opgeleverd. Op diverse online magazines,  Artificial Intelligence News, MobiHealthNews, Techcrunch zijn uitgebreide artikelen te lezen waarin de schrijvers zich hogelijk verbazen over de ongemeen felle reactie van Babylon Health. Ook BBC Newsnight besteedde er in een item genaamd “Digital Healthcare: Is it clinically effective?” aandacht aan. Deze media-aandacht zal Babylon Health absoluut niet uitkomen, maar riep ze over zich zelf af.

Schending privacy

Uitgebreide kritiek is er ook op de wijze waarop Babylon Health gebruiksgegevens (van David Watkins) in het persbericht gebruikt om het in hun ogen schadelijke handelen aan de kaak te stellen. Men vermeldt het aantal malen inloggen in de app en het aantal keren dat een test gedaan werd. Het zijn gegevens die een beheerder van een gezondheidszorg-app nooit naar buiten mag brengen om een geschil met een “tegenstander”  in het openbaar te beslechten.

Commercie

De enige reden die te bedenken is waarom Babylon Health zo fel en abject uithaalt is een commerciële. Het bedrijf van oprichter Ali Parsa wil op korte termijn over de hele wereld de vleugels uitslaan. Zo haalde het bedrijf in de zomer van 2019 550 miljoen dollar op bij investeerders om in de Verenigde Staten, Canada en Azië om daar met de app zakelijk actief te worden. Hobbels op dat pad tolereert men blijkbaar niet.

Wonderlijke disclaimer

Zowel op de website van Babylon Health als op het gewraakte persbericht staat een wonderlijke disclaimer. Hoewel de app na invoeren van symptomen van gebruikers tot een differentiaaldiagnose komt schrijft het bedrijf als disclaimer: “Our AI-tools provide information only and do not provide a medical diagnosis, nor are they a substitute for a doctor.” Door toepassing voordat een patiënt een arts te zien krijgt is er toch sprake van een vorm van triage, uitschiften , waarbij de uitkomst van de app bovendien de arts nog op het verkeerde been kan zetten.

Kritiek is gratis advies

Iemand die op een serieuze manier aantoont dat er reële gebreken in de Babylon app zitten kan men verstandiger benaderen als de brenger van gratis advies. En vervolgens daarnaar handelen. Het is ontstellend dom om met een gestrekt been de brenger van een onwelkome boodschap met een gestrekt been onderuit te willen schoppen.

Het lijkt misschien overdreven om de hierboven beschreven gebeurtenissen aan een Nederlands publiek voor te schotelen. Het is zo gek nog niet omdat Ali Parsa, de zeer commercieel CEO van Babylon Health, in januari 2020 in Nederland als één van de keynote speakers tijdens de ICT&health Openingsmanifestatie van de eHealth-week aangekondigd stond.

W.J. Jongejan, 28 februari 2020

Over GP at Hand en de Babylon-app publiceerde ik de afgelopen twee jaar zes maal. 20-11-2017,  27-12-2017, 24-01-2018, 07-05-2019 en 25-09-2019 en 18-10-2019

Afbeelding van Mohamed Hassan via Pixabay