Prominente onderzoekers vragen FDA risico’s van kunstmatige intelligentie in geneeskunde te beperken

In Science verscheen op 6 december 2019 een interessant artikel van prominente onderzoekers. Ze zijn afkomstig van het Europese INSEAD en het Petrie-Flom Center for Health Law Policy, Biotechnology  and Bioethics van Harvard University.  Een review staat op de website van het online magazine Health Data Management op 9 december. Ze beschrijven hoe in hun optiek regelgevende instanties in de V.S. zich zouden moeten focussen op het gebruik van kunstmatige intelligentie(ArtificaI Intelligence=AI) en zelf-lerende systemen(ZLS). Zij geven aan dat het continu monitoren van AI/ZLS toepassingen van groot belang is om de risico’s van de op AI/ZLS gebaseerde medische technologie te beperken. De FDA en andere overheidsinstanties zouden zich minder bezig moeten houden met de planning van toekomstige algoritme-wijzigingen. Het doel van de onderzoekers is de risico’s te benadrukken die kunnen voortvloeien uit onverwachte veranderingen in de manier waarop medische AI​​/ZLS reageren of zich aanpassen aan hun omgeving.

Overwegingen

In het artikel wijzen de auteurs erop dat regelgevende instanties zoals de Food and Drug Administration(FDA)  medische AI ​​en op ZLS gebaseerde software met “vergrendelde”(locked) algoritmen hebben goedgekeurd. Die leveren telkens hetzelfde resultaat op bij gebruik en veranderen  niet.  Ze zijn niet zelf-lerend. De onderzoekers geven aan dat regelgevers geconfronteerd worden met een fundamenteel probleem. Zou de regelgevende instantie na de beoordeling van een medische AI​​/ZLS- toepassing  en die veilig en effectief achten, haar toezicht dan daarna moeten beperken?  Zou de toezichthouder haar goedkeuring moeten beperken tot het laten uitbaten van alleen die versie van het algoritme dat aan haar voorgelegd is? Of zou de toezichthouder het uitbaten van een algoritme moeten toestaan dat kan leren en zich aanpassen aan nieuwe omstandigheden?

Gevaren van evolutie AI/ZLS

Door toename van de mogelijkheden van AI/ZLS ontstaan problemen t.a.v. de te verlenen zorg. De evolutie van die systemen kan ons potentieel veel voordelen verschaffen. Er is echter wel een belangrijke schaduwkant. De systemen moeten dan wel betrouwbaar en veilig zijn. Voor medicijnen en gewone medische apparaten doet dit probleem zich meestal niet voor. De auteurs waarschuwen echter dat hun doel is om de risico’s te benadrukken die kunnen voortvloeien uit onverwachte veranderingen in de manier waarop medische AI/ZLS reageren of zich aanpassen aan hun omgeving.

Veranderingen

Subtiele, vaak niet-herkende veranderingen van parameters of nieuwe soorten gegevens kunnen grote, kostbare fouten veroorzaken. Zij zeggen dat de nadruk van regelgevers moet liggen op de vraag of AI/ZLS over het algemeen betrouwbaar is als ze toegepast wordt op nieuwe gegevens en op vergelijkbare behandeling van soortgelijke patiënten. Gevoed met dezelfde data van verschillende patiënten dienen er vergelijkbare uitkomsten uit te komen. Onverwachte schadelijke uitkomsten dienen te allen tijde vermeden te worden.

Verfijning regelgeving

In juni 2019  heeft de American Medical Informatics Association(AMIA) al de FDA opgeroepen het  door die dienst voorgestelde regelgevingskader  te verfijnen. Het ging daarbij om regelgeving voor op AI/ZLS-gebaseerde software als een medisch hulpmiddel. Men doelde daarbij op wat door de FDA Software as a Medical device(SaMD) wordt genoemd. De definitie van SaMD is:

“Those AI/ML-based software, when intended to treat, diagnose, cure, mitigate, or prevent disease or other conditions, are medical devices under the FD&C Act, and called “Software as a Medical Device” (SaMD) by FDA and IMDRF.”

Conclusie

Het artikel in Science en Health Data Management maakt duidelijk dat binnen de wetenschappelijke medewerkers uit gezaghebbende instituten een  duidelijk standpunt innemen ten aanzien van AI/ZLS-systemen in de gezondheidszorg. Voorkomen moet worden dat op basis van zelflerende algoritmen,  zonder dat er voldoende toezicht is op het verantwoord functioneren, schade toegebracht wordt aan de patiënt. Het advies dat de onderzoekers geven om toezichthouders primair zich te laten focussen op het continu monitoren en risico-inschattingen te maken van bestaande algoritmen en minder op de plannen voor  toekomstige algoritme-wijzigingen, lijkt mij zeer verstandig.

W.J. Jongejan, 12 december 2019

Voor dit artikel is gebruik gemaakt van veel vertaald materiaal uit het genoemde artikel op Health Data Management

Afbeelding van Gordon Johnson via Pixabay