Overhaaste invoering kunstmatige intelligentie in zorg verhoogt risico’s voor patiënt

Er zijn duidelijk tekenen dat overhaaste invoering van “artificial intelligence”(AI), ook weleens “deep learning” genoemd, in de zorg tot grotere risico’s leidt voor patiënten. Dat concludeert de journaliste Liz Szabo op 24 december 2019 in een artikel in een artikel in Kaiser Health News (KHN). Het is een non-profit nieuwsdienst die over onderwerpen betreffende gezondheid en zorg gaan . Het magazine is een onderdeel van de Kaiser Family Foundation, die niet verbonden is met de grote Amerikaanse zorgverzekeraar Kaiser Permanente. Het artikel gaat in op de haast waarmee AI-toepassingen in de race om het grote geld in de zorg geïntroduceerd worden. Daarbij gaat zij ook in op de rol die de overheid in de V.S speelt bij de versnelde toelating van AI-toepassingen. Een versnelling die vaak niet in het belang van de patiënt is.

Problemen

In het artikel gaat Liz Szabo in op de problemen die al eerder speelden met AI-toepassingen in de zorg. Toepassingen die bedacht waren voor een bepaalde patiëntenpopulatie bleken in andere populaties, bijv. oin andere zorginstellingen opeens niet meer correct diagnoses te voorspellen. Raciale vooroordelen bleken nogal eens in een algoritme te zitten. Soms bleken de algoritmes meer gebaseerd op het merk MRI-scanner die gebruikt was, op het tijdstip van bloedafname of op het al dan niet bezocht zijn van de patiënt  door een geestelijke.  Het lijkt lachwekkend, maar is het niet.

Een bekende cardioloog, Eric Topol, stelt dat van de AI-producten die in de V.S. verkocht worden, er geen één getest is in een dubbelblind gerandomiseerd klinisch onderzoek. De enige gerandomiseerde trial van een AI-systeem betrof een onderzoek naar poliepen in de dikke darm.

Zorg om mentaliteit ICT-branche

De mentaliteit in de gezondheidszorg is totaal anders dan in de ICT-branche. In de zorg staat veiligheid en zorgvuldigheid van handelen altijd voorop. In de ICT-brache heerst vaak een mentaliteit van “fail fast and fix it later”, betoogt de journaliste. Meerdere keren algoritmen updaten en al  lerend van je fouten tot een werkend iets te komen komt vaak voor in de ICT-branche. Het is een manier van werken die in de zorg erg gevaarlijk is en die menigeen vreest.

Facilitatie door de overheid

In de V.S is in 2016 zijn in  wetgeving uitzonderingen tot stand gekomen op aandringen van de tech-sector om medische software, waar onder fitness-apps, elektronische patiëntendossiers(EPD”s) en “tools” die dokters helpen om diagnoses te stellen uit te zonderen van federale controle. Men maakte in 2017 een zogenaamd “precertificatie”-programma. Dat was opgezet door de toezichthouder, de Food and Drug Adminstration (FDA), om tijd en kosten van marktintroductie te verminderen voor software-ontwikkelaars. Het argument was dat in die sector veranderingen veel vaker plaats vonden dan in de traditionele medische apparaten-sector. Men zei dat zo de vooruitgang geremd zou worden.

Vergaande delegatie aan bedrijven

De bedrijven die onder deze verregaande regeling van de FDA vallen zijn: Apple, FitBit, Samsung, Johnson & Johnson, Pear Therapeutics, Phosphorus, Roche, Tidepool and Verily Life Sciences. Deze bedrijven kunnen hun algoritmen dan met een “gestroomlijnd” FDA-controle of helemaal geen FDA-controle gaan vermarkten. Als de producten op de markt komen, zijn de firma’s zelf verantwoordelijk voor de veiligheid van het product en hebben een terug-rapporteer-verplichting richting FDA. Dat is wel een zeer vergaande delegatie van bevoegdheden. In feite verlegt de FDA de controle over de certificatie voor een belangrijk deel naar het producerende bedrijf zelf toe. We hebben recent kunnen zien hoe dat in de vliegtuigindustrie misging. Boeing kreeg daar van de Federal Aviation Agency(FAA) verregaande controlebevoegdheden gedelegeerd. Bevoegdheden die helaas tot gevolg hadden dat twee 737-Max toestellen crashten door software-problemen.

Zwakkere controle FDA

Een groot aantal producenten van AI-software melden hun  product aan voor een verzwakte regeling die in 2011 tot stand kwam. Daarbij kan een bedrijf een “medical device” onder klasse II van de classificering van dat soort apparaten laten vallen. Het betreft dan een “device” dat een matig risico vormt voor de gebruiker. Het AI-product valt dan onder de zog. “premarket notification (510(k)”. Die laatste getal/lettercombinatie slaat op het wetsartikel waarop die regel berust. Dan hoeft men alleen maar de werkzaamheid van een product, dus een AI-programma, te vergelijken met een “medical device” dat al goedgekeurd op de markt is. Je krijgt dan soms de gekke situatie dat een AI-programma om op róntgenfoto’s bepaalde tumoren op te sporen vergeleken wordt met röntgenapparatuur uit 2007. En wat de FDA dan toelaat(=permission). Het product is dan ook letterlijk slechts toegelaten. Dat is geen officiële  goedkeuring (approval))van de FDA.

Diepgaande kritiek

Zowel  de American Medical Association(AMA) als een groep senatoren stelden scherpe vragen aan de regering over het overlaten van vormen van certificering aan bedrijven zelf. Drie senatoren, waaronder de democratisch presidentskandidate Elizabeth Warren agendeerden  in oktober 2019 indringende vragen over het “Software Precert Pilot Program” van de FDA. Ze stelden vragen over de veiligheid en efficiency van AI- toepassingen in de zorg, de zogenaamde “Software as a Medical Device”(SaMD). Met name gaat het hen erom of de bij de precertificatie betrokken bedrijven wel alle onderliggende data ter beschikking stellen bij overheidscontrole achteraf.

Aan het eind van het artikel brengt Liz Szabo nog een aantal mislukkingen van AI-toepassingen ten tonele. A ,B ,C , D.

In het licht van de eerder in dit stuk vermelde zeperd die luchtvaartcontrole orgaan FAA haalde door precertificering aan fabrikant Boeing over te laten zou het me niets verbazen als het precertificering-programma binnenkort teruggedraaid gaat worden.

W.J. Jongejan, 30 december 2019

Afbeelding van kalhh via Pixabay