Gevaar AI door herkenning raciale identiteit in medische beeldvorming

Op 21 juli 2021 plaatste een grote groep wetenschappers uit de VS, Taiwan, Canada en Australië een preprint van een wetenschappelijk artikel op de website www.arxiv.org van de Cornell University(Ithaca, New York, USA). Het gaat om een artikel met een belangwekkende conclusie die forse implicaties heeft voor het werken met medische beeldvormende technieken. Het blijkt namelijk dat meerdere Artificial Intelligence(AI) algoritmen die gewone röntgenfoto’s en CT-scans automatisch kunnen beoordelen vrij nauwkeurig in staat blijken om de raciale identiteit van een patiënt vrij nauwkeurig te voorspellen. Het probleem zit ‘m erin dat ervaren röntgenologen dat absoluut niet konden en de manier waarop de AI-techniek tot haar voorspelling kwam absoluut onduidelijk is. Bij toepassing van dit soort technologie wordt het mogelijk dat AI-systemen mensen op raciale gronden kunnen mis-classiferen zonder dat röntgenologen dat door hebben. En dat, terwijl ze wel toegang hebben tot dezelfde data.

Fraaie studie

De studie kwam ik op het spoor door een kort bericht op de tech-magazine website The Register op 8 juli 2021. Het is een gedegen studie met medische, ethische, sociologische en antropologische kanten. Zeer belangrijk zijn de medisch ethische consequenties die de schrijvers over het voetlicht brengen. Meerdere AI-programma’s die röntgenfoto’s en CT-scans kunnen beoordelen nam men onder de loep. Met AI kon de raciale identiteit van patiënten in het slechtste geval voor 80 en in het beste geval voor 99 procent zeker voorspeld worden. Het opzettelijk elektronisch verminken van de beelden deed er weinig aan af. De wetenschappers hebben geen idee hoe de AI-algoritmen tot hun conclusie kwamen. Ze stellen:

”Despite many attempts, we couldn’t work out what it learns or how it does it. It didn’t seem to rely on obvious confounders, nor did it rely on a limited anatomical region or portion of the image spectrum.”

Conclusie wetenschappers

De auteurs komen op basis van de discrepantie -AI herkent raciale identiteit, maar röntgenoloog niet- tot de volgende conclusie:

“However, our findings that AI can trivially predict self-reported race – even from corrupted, cropped, and noised medical images – in a setting where clinical experts cannot, creates an enormous risk for all model deployments in medical imaging: if an AI model secretly used its knowledge of self-reported race to misclassify all Black patients, radiologists would not be able to tell using the same data the model has access to.”

Nadere uitleg

Eén van de auteurs, dr. Luke Oakden-Rayner, gaat in een bijdrage op zijn eigen blog in wat toegankelijker taal in op wat de wetenschappers als groot ethisch probleem zien. Zijn blog heeft de omineuze titel: “AI has the worst superpower… medical racism.” Hij legt het in een viertal argumenten uit die ik vertaald zal weergeven:

De medische praktijk is bevooroordeeld ten gunste van de bevoorrechte klassen in elke samenleving, en wereldwijd ten opzichte van een specifiek type blanke mannen.
AI kan kenmerken die sterk gecorreleerd zijn met raciale identiteit gewoonweg leren herkennen in medische beeldvormingsstudies. Dit biedt een krachtig en direct mechanisme voor modellen om de vooroordelen in de medische praktijk in de medische beslissingen op te nemen.
Mensen kunnen de raciale identiteit van een patiënt niet identificeren op basis van medische beelden. Bij medische beeldvorming hebben we routinematig geen toegang tot informatie over raciale identiteit, dus het menselijk toezicht op dit probleem is op klinisch niveau uiterst beperkt.
De functies waar de AI gebruik van maakt, lijken zich over het hele beeldspectrum voor te doen en zijn niet regionaal( op een bepaald gebied binnen de röntgenologie gelokaliseerd, wat ons vermogen om AI-systemen hiervan te weerhouden ernstig zal beperken

Eigen observatie arts?

Uiteraard zullen er mensen zijn die zeggen dat het allemaal zo’n vaart niet loopt omdat de behandelend arts toch wel zelf zich een oordeel kan vormen van de raciale identiteit. Ook zal men zeggen dat de patiënt dat ook wel over het voetlicht kan brengen. Dat laat onverlet dat met AI-algoritmen die röntgenfoto’s en CT-scans geautomatiseerd beoordelen er al reeds een raciale bias in de beoordeling kan zitten zonder dat mede-beoordelende artsen daar zelf zicht op hebben.

De auteurs vragen dan ook expliciet aandacht voor deze medisch ethische consequenties van het ongebreideld inzetten van AI-systemen bij beeldvormend onderzoek in de geneeskunde.

Het leek me zinnig deze waarschuwing met u te delen.

W.J. Jongejan, 13 augustus 2021

Afbeelding van Computerizer via Pixabay