Niet reproduceerbare uitkomsten profileringsalgoritme bijstandsgerechtigden. Een loterij
Ruim een jaar wuifde de gemeente Nissewaard(Spijkenisse/Bernisse) alle kritiek van FNV en Platform Burgerrechten weg. Op 5 juli 2021 kondigde de gemeente aan te stoppen met het inhuren van Totta Data Lab om bijstandsgerechtigden geautomatiseerd op risicolijsten te plaatsen. De gemeente zei die controle te doen om de rechtmatigheid van de verstrekking van die uitkering te controleren. De aanleiding voor de huidige stap van de gemeente is het onderzoek waarin TNO vaststelt dat de door Nissewaard ingehuurde algoritmen op uitkeringsfraude bij bijstandsgerechtigden onbetrouwbaar zijn. In de berichtgeving in de media over het rapport van TNO en de reactie van de gemeente Nissewaard noemt men vooral de conclusie dat het algoritme van Totta Data Lab een gebrekkige auditeerbaarheid had. Ook de mogelijkheid om de doeltreffendheid van het algoritme vanuit een technisch oogpunt te onderzoeken bleek niet voldoende. Zeer beperkt vermeldt men de uitkomst dat de resultaten niet reproduceerbaar waren.
Aard van controle
Totta Data Lab liet op verzoek van Nissewaard haar algoritme los op door de gemeente verschafte data over bijstandsgerechtigden. De uitkomsten koppelde het bedrijf terug naar de gemeente, waarna ambtenaren de signalen beoordeelden en beslissingen namen over de uitkeringen. De besluitvorming vond dus niet geautomatiseerd plaats, maar werd wel gevoed door machine-uitkomsten. De gemeente Nissewaard heeft nooit echt openheid gegeven over de ins-en outs van de controlemethode door Totta Data lab. Het bleef daardoor onduidelijk in hoeverre het systeem verschilt van SyRI, een opsporingssysteem dat begin 2020 onrechtmatig werd verklaard door de rechter. In Binnenlands Bestuur spreekt een artikel van 24 april 2020 over “Het rookgordijn rondom fraudesysteem Nissewaard”
Niet reproduceerbaar
De belangrijkste conclusie en het meest aansprekende uit het TNO-rapport is naar mijn oordeel dat de onderzoeker nadrukkelijk in de conclusie stelt dat het algoritme van Totta Data Lab geen reproduceerbare uitkomsten kende. De uitkomsten van het algoritme bleken namelijk noch herhaalbaar noch reproduceerbaar te zijn, omdat er onvoldoende rekening is gehouden met de willekeurigheid die inherent is aan het algoritme. Dit betekent dat bij meerdere runs van dezelfde code met dezelfde instellingen van het algoritme er (significant) andere resultaten uitkomen. Daarnaast bleek de kwaliteit van de programmeercode niet op peil.
Nadrukkelijk geen stellingname
Wat opvalt aan het rapport van TNO is dat de opsteller uitsluiten praat over de inhoudelijke en technische kanten van het algoritme van Totta Data Lab. De vraag of een dergelijk profilerend algoritme überhaupt wel toegepast mag worden door een gemeente, beantwoordt de opsteller niet.
Hij schrijft dat TNO nadrukkelijk geen oordeel velt over juridische aspecten of op principiële bezwaren tegen de inbedding van een Artificial Intelligence-algoritme in het huidige informatie-gestuurde handhavingsproces dat door de gemeente Nissewaard wordt gehanteerd. Met de uitspraak over de wet SyRI in februari 2020, waarbij de rechter deze onrechtmatig verklaarde, in het achterhoofd, had de gemeente niet zo astrant moeten zijn om na februari 2020 de diensten van Totta Data Lab nog af te nemen.
Meer dan alleen Nissewaard
De gemeente Nissewaard trekt aandacht in het nieuws door het gebruik maken van de diensten van Totta Data Lab, maar ook andere gemeenten huren dezelfde diensten in. Het gaat daarbij om de gemeente Lekstroom(Utrecht) en de gemeenten Veere, Middelburg en Vlissingen. Amersfoort overwoog het gebruik van “data-gestuurd handhaven”, maar zag er na het bekend worden van het TNO-rapport rapvanaf.
Loterij
De facto bestond er dus bij het gebruik van het Totta Data Lab algoritme een soort loterij. Want de kans dat de naderhand controlerende en beoordelende ambtenaar consistente informatie kreeg was door afwezige reproduceerbaarheid nul. Daardoor zal de handmatige controle een soort random basis gehad hebben. Mensen die niet extra gecontroleerd hadden hoeven worden controleerde men wel en bij mensen die mogelijk fraudeerden kwam geen fraude-signaal. In een bericht van 5 juli 2021 benadrukt de gemeente Nissewaard dat ze geen enkele burger op enige wijze heeft benadeeld. Toch moeten er binnen de gemeente onjuiste signalen vanuit Totta Data Lab gekleid hebben tot extra aandacht en controles bij mensen waarbij zulks niet nodig of relevant was.
Onbegrijpelijk
Ik vind het onbegrijpelijk dat de gemeente Nissewaard ondanks toenemende druk van buitenaf, bijv. door FNV en het Platform Burgerrechten volhardde in haar standpunt om diensten van Totta Data Lab af te nemen.
Toegeven dat men een verkeerde weg insloeg kunnen politici vaak niet. Men volhardt dan tegen beter weten in, niet beseffende dat de (maatschappelijke) schade dan steeds toeneemt. Op 5 juli 2021 daalt het besef dat men zo niet verder moet eindelijk in.
W.J. Jongejan, 20 juli 2021
Recente reacties