onderzoekswaardigheid

Sociaal, Directie Inkomen, afdeling Handhaving Werk en Inkomen

Overzicht

Onderzoekswaardigheid: Slimme check levensonderhoud

Tags

Onderzoekswaardigheid Algoritme ‘Slimme check’. Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is.

De gemeente Amsterdam verstrekt bijstandsuitkeringen uit aan Amsterdammers die daar recht op hebben. Niet iedereen die een bijstandsuitkering aanvraagt, komt in aanmerking voor een uitkering. Daarom onderzoeken we bijstandsaanvragen die mogelijk onrechtmatig zijn. De gemeente Amsterdam wil voorkomen dat Amsterdammers ten onrechte bijstand krijgen, daardoor schulden opbouwen en in de problemen komen.

Ook Amsterdammers die wél recht hebben op bijstand worden weleens onderzocht door een medewerker van Handhaving Werk en Inkomen. Dat willen we zo veel mogelijk voorkomen, want zo’n onderzoek kan vervelend zijn. Daarom testen we of een algoritme ons kan helpen om te bepalen welke aanvragen wel en niet onderzocht moeten worden. Zodat Amsterdammers minder last hebben van onze handhaving én zodat minder Amsterdammers in de problemen komen. Maar ook om ervoor te zorgen dat de verstrekking van bijstand betaalbaar blijft.

Op dit moment bepaalt een medewerker of een aanvraag onderzoekswaardig is, en of dit door een medewerker met aanvullende bevoegdheden moet worden beoordeeld. Het algoritme ‘Slimme check’ ondersteunt de medewerker om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is. Het algoritme maakt transparant en uitlegbaar welke data hebben geleid tot het label ‘onderzoekswaardig’. Alle data die worden gebruikt om tot een beoordeling te komen, worden gedocumenteerd en beschreven. 

De gemeente doet van april tot en met juli 2023 een pilot met een nieuwe werkwijze. In deze pilot bepaalt het algoritme ‘slimme check’ of een aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ krijgt. Dit wordt daarna door een medewerker van Handhaving Werk en Inkomen gecontroleerd. Het algoritme kan verbanden en patronen vinden in een grote hoeveelheid informatie over aangevraagde bijstandsuitkering en bepaalt welke informatie vaker in verband kan worden gebracht met aanvragen waarvoor een nader onderzoek noodzakelijk was en welke niet. ‘Slimme check’ is getraind op historische data en bestaat uit vijftien datapunten. Na afloop van de pilot bepalen we of deze manier van werken beter is voor de Amsterdammer. 

Deze nieuwe werkwijze heeft een aantal voordelen:

• Gelijkwaardigheid: We hebben de vooringenomenheid (‘bias’) van het algoritme geanalyseerd. Daaruit bleek dat op vrijwel alle gevoelige kenmerken (zoals leeftijd, geboorteland en nationaliteit) het ontwikkelde model verschillende groepen gelijkwaardiger behandelt dan nu gebeurt.
• Effectiviteit: Het model kan beter inschatten welke aanvragen onderzoekswaardig zijn dan een medewerker. Daardoor kan de capaciteit beter benut worden, en worden minder onrechtmatige uitkeringen verstrekt.
• Proportionaliteit: Omdat het model beter kan inschatten welke aanvragen extra gecontroleerd moeten worden, komt het minder vaak voor dat aanvragen onnodig extra worden onderzocht. Dit leidt tot een betere proportionaliteit. Ook voorkomen we vaker de onrechtmatige verstrekking van uitkeringen, wat leidt tot een meer preventieve in plaats van repressieve aanpak.

Contactgegevens

Gedetailleerde informatie over het systeem

Hier kunt u kennismaken met de door het systeem gebruikte informatie, de werkingslogica en het bestuur ervan op de gebieden die u interesseren.

Datasets Toon Meer Toon Minder

Belangrijke gegevensbronnen die worden gebruikt bij de ontwikkeling en het gebruik van het systeem, hun inhoud en gebruiksmethoden. De verschillende gegevensbronnen worden gescheiden door subkoppen.

Naam

Aanvraag levensonderhoud

Beheerder

Gemeente Amsterdam

Datasetbeschrijving

Bij een aanvraag levensonderhoud controleren we de rechtmatigheid. Dit gebeurt door medewerkers van de afdeling Inkomensvoorziening. Niet iedereen die een aanvraag indient, heeft recht op een uitkering. De medewerkers van de afdeling Inkomensvoorziening handelen veel aanvragen af op basis van de informatie in het aanvraagformulier en de aangeleverde documenten. In die gevallen is duidelijk dat de aanvrager recht op een uitkering heeft. Soms is de informatie niet volledig of eenduidig. Dan kan het nodig zijn om aanvullend onderzoek te doen. Dit wordt gedaan door medewerkers van de afdeling Handhaving Werk en Inkomen.

Het algoritme ‘Slimme check’ ondersteunt de medewerkers in de beoordeling van aanvragen levensonderhoud door ze het label wel of niet onderzoekswaardig te geven. Alle aanvragen levensonderhoud worden aangeboden aan ‘Slimme check’.

Aanvraag levensonderhoud

Als een Amsterdammer een aanvraag levensonderhoud indient, dan komt de aanvraag terecht in de applicatie van de directie Inkomen om de aanvraag af te handelen. De aanvragen worden aangeboden aan ‘Slimme check’ en ‘Slimme check’ gebruikt de volgende gegevens om de aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ te geven: 

Uit de Basisregistratie Personen (BRP)

• BSN
• Informatie over woonadres  
• Informatie over woonsituatie 

Uit de applicaties van de directie Inkomen 

• BSN
• Informatie over mogelijke eerdere bijstandsuitkeringen (hoe lang geleden, welke activiteiten in het kader van klantbegeleiding, welke maatregelen, niet verschenen op afspraken, geen contact) 
• Informatie over vermogen 
• Informatie over inkomen

Aanvragen met het label ‘onderzoekswaardig’

Aanvragen die het label ‘onderzoekswaardig’ krijgen, worden door medewerkers van de afdeling Handhaving Werk en Inkomen behandeld. Deze medewerker beoordeelt of de aanvraag daadwerkelijk onderzoekswaardig is.

• Zo ja, dan behandelt een medewerker van de afdeling Handhaving Werk en Inkomen de aanvraag en  geeft een advies over het te nemen besluit aan een medewerker van de afdeling Inkomensvoorziening. Ook gaat de medewerker Handhaving Werk en Inkomen altijd in gesprek met de aanvrager. Daarnaast geldt het 4 ogen principe bij de afdeling Handhaving Werk en Inkomen. De aanvraag wordt ook door een collega beoordeeld.
• Zo nee, dan wordt de aanvraag overgedragen naar een medewerker van de afdeling Inkomensvoorziening voor de verdere afhandeling

Aanvragen zonder het label ‘onderzoekswaardig’

Aanvragen die niet het label onderzoekswaardig krijgen, worden door de medewerkers van de afdeling Inkomensvoorziening behandeld. Een medewerker Inkomensvoorziening kan een aanvraag levensonderhoud alsnog overdragen aan een medewerker Handhaving Werk en Inkomen voor aanvullend onderzoek.

Besluitvorming aanvraag levensonderhoud

De medewerker van de afdeling Inkomensvoorziening neemt het besluit op de aanvraag levensonderhoud. Het besluit kan zijn: een aanvraag wordt toegekend, afgewezen of buiten behandeling gesteld. Hier vind collegiale toetsing plaats.

Operating

Persoonlijke gegevens

Gepseudonymiseerd

Testing

Training

Human oversight Toon Meer Toon Minder

Menselijk toezicht tijdens het gebruik van de dienst.

Er is geen sprake van geautomatiseerde besluitvorming. Het algoritme adviseert alleen of een aanvraag extra onderzocht moet worden. Na dit advies doen verschillende medewerkers nog uitgebreid onderzoek.

1. Eerst kijkt een medewerker van de afdeling Handhaving Werk en Inkomen of de aanvraag wel echt onderzoekswaardig is.
2. Als dit het geval is, doet een andere medewerker van de afdeling Handhaving Werk en Inkomen een uitgebreid onderzoek naar de rechtmatigheid. 
3. Hierover wordt een advies uitgebracht en weer een andere medewerker (van Inkomensvoorziening) neemt het uiteindelijke besluit.

Er is dus geen geautomatiseerde besluitvorming. Er is sprake van betekenisvolle menselijke tussenkomst voordat een besluit wordt genomen. Er worden werkinstructies opgesteld om teveel vertrouwen in de uitkomst van het model (automation bias) te voorkomen. Daarnaast volgen de medewerkers een training over hoe ze de informatie uit het model moeten gebruiken in hun werkproces.   

Niveau van menselijke controle

human-on-the-loop

Gegevensverwerking Toon Meer Toon Minder

De operationele logica van de automatische gegevensverwerking en redenering uitgevoerd door het systeem en de gebruikte modellen.

Beschrijving van de systeemarchitectuur

Er is gekozen voor een Explainable Boosting Machine. Dit model leert van patronen in historische data, en gebruikt deze patronen om voorspellingen te doen. Een Explainable Boosting Machine is een machine learning algoritme voor classificatie- en regressievraagstukken. Het kan niet-lineaire relaties in data beschrijven en maakt daarvoor gebruik van een ‘tree-based supervised learning’-techniek.

Het is een redelijk complex algoritme dat geschikt is om:

• Voorspellingen te doen;
• Kansen op gebeurtenissen in te schatten;
• Verdachte gebeurtenissen te ontdekken;
• Veranderingen in een dataset te ontdekken. 

Het algoritme is geen ‘black box’, want het is transparant over hoe de features tot een bepaalde voorspelling leiden.

Afbeelding van systeemarchitectuur

Architectuurnotitie WPI Risicomodel v1.2.pdf

Technical documentation.pdf

Prestatie

We verwachten dat het algoritme helpt bij het bepalen van de onderzoekswaardigheid van aanvragen. Het gewenste resultaat is dat er aan het begin van het proces gelijkwaardig, effectief en proportioneel wordt ingeschat welke aanvragen om een onderzoek vragen.

• Gelijkwaardig: Zie hiervoor Tegengaan van discriminatie
• Effectief: Door het algoritme te gebruiken kunnen we gerichter onderzoek doen met behulp van de informatie en data die al in de organisatie beschikbaar zijn. De huidige manier van werken heeft een precisie van 46%, terwijl het model bij een even groot aantal doorgestuurde aanvragen een precisie heeft van 56%. Dit is dus een verbetering van tien procentpunt. In de praktijk zal deze precisie iets lager liggen, rond de 53%. Dit komt doordat een van de redenen om het model te ontwikkelen het lage aantal aanvragen was dat de afgelopen jaren werd doorgezet naar de afdeling Handhaving Werk en Inkomen. Door dit model te gebruiken, zal het percentage aanvragen dat naar de afdeling Handhaving Werk en Inkomen wordt doorgezet iets hoger liggen, wat de precisie verlaagt.
• Proportionaliteit: Een verhoging van de precisie betekent een verhoging van de proportionaliteit. Je doet dan namelijk relatief minder onderzoeken op aanvragen die ongewijzigd worden goedgekeurd.

Na de officiële pilotfase wordt de daadwerkelijke effectiviteit van het model in de praktijk gemeten aan de hand van een meetplan. In de meetplan gaan we uit van een significantieniveau (nauwkeurigheid) van 75%. 

Non-discriminatie Toon Meer Toon Minder

Promotie en realisatie van gelijkheid in het gebruik van de dienst.

Tijdens het ontwikkelen van het model en het vormgeven van de pilot, hebben we verschillende maatregelen genomen om ongelijke behandeling tegen te gaan.

1. Bij het ontwikkelen van het algoritme hebben we kritisch gekeken naar de beschikbare dataset. We hebben ervoor gekozen niet alle beschikbare informatie te verwerken in het algoritme. Informatie als geboorteplaats, nationaliteit, burgerlijke staat en geboorteland zijn niet verwerkt in het algoritme. Dat voorkomt dat er een vertekend beeld of vooroordeel ontstaat over specifieke groepen. 
2. De ontwikkelde features zijn juridisch en ethisch getoetst door een jurist, een privacy officer, een adviseur gegevensmanagement en een senior medewerker die het werkproces uitvoert. Bovendien hebben we uitvoerig advies gehad van de Participatieraad en de Commissie Persoonsgegevens Amsterdam (CPA). Dit advies heeft ertoe geleid dat bepaalde variabelen uiteindelijk niet zijn gebruikt in het model. 
3. Na deze beoordeling is het model vervolgens uitgebreid onderzocht op onbewuste vooringenomenheid (bias). De gemeente Amsterdam heeft hiervoor een onderzoekmethode ontwikkeld die is toegepast op het model. De uitkomsten van het model worden aan de hand van gekozen metrieken onderzocht op mogelijke biases en hiervoor gecorrigeerd wanneer nodig. Meer informatie over fairness en specifiek de bias-analyse staat in het Fairness Handbook. 

We verwachten dat het model een gelijke behandeling zal bevorderen en het proces transparanter zal maken. Wanneer verschillende mensen naar soortgelijke zaken kijken, kan de één er anders naar kijken dan de ander. Ook mensen kunnen onbewust vooringenomen zijn. Het model is getest op mogelijke bias en uit deze test is gebleken dat het model diverse groepen gelijkwaardiger behandelt dan in de huidige werkwijze gebeurt. Ook is het is duidelijker op basis van welke datapunten we de onderzoekswaardigsheid willen bepalen. Daarnaast is het bij iedere aanvraag duidelijk hoe de score op onderzoekswaardigheid tot stand is gekomen. Zo krijgen we minder willekeur in het proces en worden gelijke gevallen gelijk behandeld.Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden   

Bias-testrapport

1.Kunstmatige Intelligentie Impact Assessment (KIIA) – Slimme Check Bijstandsaanvr.docx

Bias analyse.pdf

Overzicht Verwerkte Data en Features.pdf

Referenties Toon Meer Toon Minder

Contractreferentie

De gemeente Amsterdam heeft ‘Slimme check’ ontwikkeld, ondersteunt het gebruik en draagt zorg voor de nodig beveiligingsmaatregelen conform de Baseline Informatiebeveiliging Overheid (BIO). Advies Commissie Persoonsgegevens Amsterdam (CPA) Reactie op advies Commissie Persoonsgegevens Amsterdam (CPA) Advies participatieraad Reactie op advies participatieraad Advies Deloitte Reactie op advies Deloitte

Live service adres

https://www.amsterdam.nl/werk-inkomen/

Adres privacybeleid

https://www.amsterdam.nl/privacy/specifieke/privacyverklaringen-werk-inkomen/bijstand/

Risicobeheer Toon Meer Toon Minder

Risico's in verband met het systeem en het gebruik ervan en de beheersmethoden.

Voor dit product zijn wij uitgegaan van het Kader van de Algemene Rekenkamer. Daarnaast zijn de belangrijkste risicomanagementanalyses de DPIA (Data Protection Impact Assessment), KIIA (Kunstmatige Intelligentie Impact Assessment), IAMA (Impact Assessment Mensenrechten en Algoritmes ) en de BIO Quickscan gedaan. Hierin is aangegeven in hoeverre de risico’s kunnen worden geëlimineerd of gereduceerd, en wat de restrisico’s zijn. We hebben verschillende maatregelen getroffen om ervoor te zorgen dat de output van het model correct, transparant en consequent is. 

Ook wordt het model tijdens de pilot (en bij een succesvolle pilot tijdens het beheer) nauwlettend gemonitord om de kwaliteit en eerlijkheid van het model ook in de toekomst te waarborgen. 

Risico-naam

Automation bias

Risicobeschrijving

Medewerkers kunnen te veel gaan vertrouwen op het model, en daardoor te sterk beïnvloed worden door haar uitkomsten. Als het model het label ‘onderzoekswaardig’ geeft, moet dit het startpunt zijn voor een onderzoek, zonder dat dit leidt tot vooringenomenheid bij de medewerkers. Hier nauw aan verwant is het begrip deployment bias: dat betekent dat een algoritme in de praktijk anders gebruikt wordt dan het oorspronkelijk bedoeld was, wat kan leiden tot oneerlijke of ongelijke uitkomsten.

Beschrijving van risicobeperking

De interface is zoveel mogelijk ontworpen om automation bias tegen te gaan. Het model geeft elke aanvraag een score tussen 0 en 1, waarbij 1 het meest en 0 het minst onderzoekswaardig is. Maar de medewerker Handhaving Werk en Inkomen ziet alleen het label ‘onderzoekswaardig’ ja/nee. Hiermee voorkomen we dat een hoge score leidt tot vooringenomenheid. Daarnaast ziet de medewerker Handhaving Werk en Inkomen bij onderzoekswaardige aanvragen altijd de drie belangrijkste features die hebben geleid tot dit label. Dit houdt de interface eenvoudig, maar geeft de medewerker wel inzicht in hoe het algoritme tot dit label is gekomen. Ook dit voorkomt vooringenomenheid (bovendien neemt na de eerste drie features het belang van de features flink af). Ook staan er op meerdere plekken in de interface herinneringen dat het algoritme slechts een hulpmiddel is, en dat de medewerker Handhaving Werk en Inkomen altijd uit moet gaan van zijn of haar eigen expertise. Tot slot zal er in de werkinstructie en in trainingen informatie worden opgenomen over hoe het algoritme ontworpen is, over het gevaar van overmatig vertrouwen in het algoritme en over het belang van de eigen expertise van de medewerkers.

Mitigatiestatus

Voltooid

Waarschijnlijkheid

Matig

Schaal

Matig

Ernst

Hoog

Risico-naam

Bias in het model

Risicobeschrijving

Hoewel het model geen gebruik maakt van gevoelige kenmerken zoals gender en nationaliteit, kan indirecte bias in het model toch voorkomen. Bijvoorbeeld door bias in de historische data (historical bias) waarmee het model getraind is, of doordat de werkelijke situatie verandert, waardoor het model onvoldoende aansluit de huidige situatie.

Beschrijving van risicobeperking

Er is een bias-analyse uitgevoerd. Naar aanleiding van deze analyse hebben we het model opnieuw bekeken en getraind. Daarna hebben we een nieuwe bias-analyse uitgevoerd. Uit de bias-analyse van de versie van het model dat we tijdens de pilot gebruiken bleek dat het model geen bias bevat. Deze bias-analyse zal tijdens de implementatiefase regelmatig herhaald worden. Meer informatie over de bias-analyse en andere maatregelen om bias te voorkomen en/of op te sporen, staat in het door de gemeente Amsterdam opgestelde Fairness Handboek.  Daarnaast zijn in het beheerplan monitoring-maatregelen beschreven om bijvoorbeeld ‘drift’ (verschuiving) te voorkomen. (Drift vindt plaats wanneer de data die het model gebruikt, afwijken van de data waarmee het model getraind is, bijvoorbeeld doordat de actuele situatie veranderd is.)

Mitigatiestatus

Voltooid

Waarschijnlijkheid

Matig

Schaal

Matig

Ernst

Hoog

Vond u deze informatie nuttig?