Dynamic page for System

Overzicht

Objectherkenning Openbare Ruimte Containers

Tags

Directie V&OR heeft het Computer Vision Team van de gemeente Amsterdam (hierna: CVT) opdracht gegeven om te verkennen hoe objectherkenning kan helpen om te voorkomen dat kwetsbare bruggen en kademuren instorten, doordat hier zware objecten op worden geplaatst. Container zijn zware objecten die de kans op instorting vergroten. Momenteel is er geen duidelijk zicht op waar deze containers zich bevinden in (kwetsbare) delen van de stad. 

Tijdens de Pilot wordt getest of containers succesvol kunnen worden herkend in de openbare ruimte met een scanvoertuig die is voorzien van een camera. Na het herkennen van containers in de openbare ruimte, kan een signaal worden genereerd. Door dit signaal te voorzien van aanvullende informatie uit (gemeentelijke) bronnen, kan het werk van toezichthouders ook beter worden uitgevoerd. Dit kan bijvoorbeeld door in een melding informatie op te nemen over hoe urgent het signaal is op basis van de kwetsbaarheid van de betreffende kade waar de container op is geplaatst. Daardoor kan prioriteit worden gegeven aan urgente situaties. 

Naast het genereren van een signaal kunnen medewerkers gebruik maken van een digitale kaart waarop de aangetroffen containers worden weergeven. 

Update 2024:

De pilot is inmiddels succesvol afgerond. Het is gebleken dat containers succesvol kunnen worden herkend en dat de technologie kan worden ingezet om doelgerichter verkeerd geplaatste containers te identificeren.

Contactgegevens

Gedetailleerde informatie over het systeem

Hier kunt u kennismaken met de door het systeem gebruikte informatie, de werkingslogica en het bestuur ervan op de gebieden die u interesseren.

Datasets Toon Meer Toon Minder

Belangrijke gegevensbronnen die worden gebruikt bij de ontwikkeling en het gebruik van het systeem, hun inhoud en gebruiksmethoden. De verschillende gegevensbronnen worden gescheiden door subkoppen.

Naam

Trainingsdataset voor de ontwikkeling van de algoritmes

Datasetbeschrijving

De gemeente heeft voor de ontwikkeling van het beeldherkennings- en bluralgoritme een reeds beschikbare dataset gebruikt. 

Bluralgoritme

Het gaat om grofweg 10.000 beelden met ruwe, dus niet geanonimiseerde, data. Deze beelden waren nodig om het algoritme handmatig personen en kentekens te leren herkennen, zodat deze kunnen worden verwijderd van beelden. Dit proces wordt ‘annotatie’ en ‘trainen’ genoemd. Deze beelden zijn alleen toegankelijk voor een aantal ontwikkelaars die de modellen trainen. De beelden blijven bewaard zolang het algoritme mogelijk doorontwikkeld moet worden.

Beeldherkenningsalgoritme. 

Om dit algoritme containers goed te leren herkennen, zijn grofweg 1500 deels wel en deels niet-geanonimiseerde beelden gebruikt om het algoritme handmatig te trainen. Het gebruiken van niet-geanonimiseerde beelden was hiervoor noodzakelijk, zodat de context (openbare ruimte van gemeente Amsterdam) zoveel mogelijk intact wordt gehouden. Dat zorgt dat zorgt ervoor dat het algoritme beter in staat is om de containers te herkennen. Anders dan bv. Google Maps, blurt de gemeente ook het gehele postuur van personen in de openbare ruimte.

Naam

Productiedata

Datasetbeschrijving

Beelden

Het Scansysteem legt beelden vast die de volgende metadata bevatten:

• Datum;
• Tijdstip;
• Locatie (Coördinaten volgens ‘WGS84’ (EPSG 4326) en volgens ‘Amersfoort / RD New (EPSG 28992)));
• Heading (uitgedrukt in graden startend vanuit het noorden).

Deze beelden worden vervolgens allemaal geanonimiseerd met het bluralgoritme dat de gemeente Amsterdam heeft ontwikkeld. Direct hierna worden de beelden gefilterd op beelden met containers erop met het beeldherkenningsalgoritme ‘containers’. Alle beelden waarop géén containers zichtbaar zijn worden meteen verwijderd. De beelden met containers erop worden verrijkt met de volgende gegevens. 

• X-coördinaat
• Y-coördinaat
• Datum en tijdstip 
• Geschatte dichtstbijzijnde straatnaam en huisnummer waarop de containers zijn aangetroffen (deze informatie wordt enkel gebruikt om Toezicht en Handhaving naar de betreffende locatie te kunnen sturen. Er wordt expliciet gecommuniceerd dat er geen informatie bekend is in hoeverre dit ook het adres van de containereigenaar/huurder is).

 

Ontheffingsdata en informatie over kwetsbare bruggen en kademuren

Nadat voorgaande data (met de algoritmes) is verkregen, wordt deze informatie verrijkt met informatie uit vergunningen en over kwetsbare bruggen en kademuren. De volgende gegevens worden toegevoegd met betrekking tot de vergunningen die in het betreffende gebied zijn verstrekt:

• Locatie ontheffing
• Startdatum ontheffing
• Einddatum ontheffing

Vervolgens wordt onderzocht of de container zich op een kwetsbare brug of kademuur bevindt. Daarvoor wordt gekeken naar:

• Adres
• Status (kwetsbaar ja of nee)

Op basis van bovenstaande data kan dan de volgende informatie worden gegenereerd:

• Categorie Oranje (of Rood): mogelijk illegaal object (op kwetsbare kade)
• Afstand tot kwetsbare kade: 25meter
• Afstand tot objectvergunning: 40 meter

 

Versturen signaal via SIA naar City Control

Bovenstaande data wordt naar de Signalen Informatievoorziening Amsterdam gestuurd. SIA verwerkt dit tot een ‘signaal’ voorzien van een kaart met locatie aanduiding en stuurt dit door naar CityControl, zodat een toezichthouder hiermee kan werken. 

 

Hergebruik van beelden met containers

Geanonimiseerde beelden waarop containers te zien zijn worden hergebruikt om het beeldherkenningsalgoritme opnieuw mee te trainen. Het algoritme leert hiervan en zal daardoor beter gaan ‘presteren’. 

Human oversight Toon Meer Toon Minder

Menselijk toezicht tijdens het gebruik van de dienst.

Er is geen sprake van geautomatiseerde besluitvorming door gebruik te maken van de beeldherkenningsvoorziening. De voorziening genereert wel geautomatiseerd een signaal. Dit signaal wordt vervolgens (handmatig) beoordeeld door een toezichthouder, waarna mogelijkerwijs een buitendienstonderzoek zal plaatsvinden. De toezichthouder doet zelfstandig een beoordeling of de situatie legaal of illegaal is. Als dit laatste het geval is, zal een handhaver zelfstandig een besluit nemen. Daarmee is er sprake van voldoende betekenisvolle menselijke tussenkomst. 

De ‘output’ van de algoritmes draagt wel bij aan het nemen van de ‘beslissing’ om al dan niet nader onderzoek (buitendienstonderzoek) te doen naar de waargenomen container in de openbare ruimte. Daarmee is de voorziening (met bijbehorende algoritmes) dus wel van wezenlijke invloed. 

Gegevensverwerking Toon Meer Toon Minder

De operationele logica van de automatische gegevensverwerking en redenering uitgevoerd door het systeem en de gebruikte modellen.

Afbeelding van systeemarchitectuur

Architectuur van het AI-systeem.png

Prestatie

De algoritmes presteren goed op basis van resultaten met de trainingsdataset. De beoogde Pilot is noodzakelijk om de algoritmes te testen met productiedata. De prestaties worden nauwkeurig gemeten gedurende de Pilot. Desondanks heeft elk algoritme ook een zogenaamde foutmarge. Het CVT heeft dit onderzocht en deze doen zich voor bij de volgende situatie:

• Beeldherkenningsalgoritme

De container is te ver weg waardoor het algoritme de container niet herkent. Het risico dat de container wordt gemist is echter klein, nu het waarschijnlijk is dat in het risicovolle gebied het scanvoertuig uiteindelijk toch langs de container komt, waardoor deze kan worden herkend. 

 

• Bluralgoritme

Het bluralgoritme heeft momenteel een accuraatheid van grofweg 95% voor mensen die dicht bij de camera staan. Voor mensen die verder weg staan van de camera ligt dat rond de 92%. Middels visuele inspectie op een steekproef is gebleken dat de personen die niet herkend worden meestal niet herkenbaar zijn, omdat zij bijvoorbeeld deels achter een boom staan. Idealiter worden deze personen uiteraard ook geblurred. De komende maanden wordt het bluralgoritme verder doorontwikkeld. Er wordt verwacht dat de prestatie verder zal verbeteren en bij benadering de 99% zal halen. Voor de Pilot, en gezien alle maatregelen die worden genomen om de beelden veilig te verwerken, wordt de 95% accuraat voor nu als voldoende beschouwd. Als extra maatregelen worden afbeeldingen verwijderd op basis waarvan géén signaal wordt gegenereerd. Dit wordt binnen 24 uur gedaan. 

 

Update 2024: Inmiddels is Blurring as a Service (BaaS) in gebruik genomen, dit zal in een mogelijk vervolgtraject worden ingezet om de beelden te anonimiseren.

Non-discriminatie Toon Meer Toon Minder

Promotie en realisatie van gelijkheid in het gebruik van de dienst.

Het bluralgoritme heeft een lage foutmarge, desalniettemin is het mogelijk dat bepaalde groepen beter of minder goed worden herkend. Alle data wordt zo snel mogelijk verwijderd nadat blijkt dat deze niet meer nodig is. Dit betekent in de praktijk dat alle beelden binnen 48 uur verwijderd zijn waar geen container op staat. Het Computer Vision Team zal de Pilot moeten gebruiken om te onderzoeken hoe goed het model in de praktijk presteert. 

Parallel aan de Pilot zal dit onderzoek worden uitgevoerd. Het doel is om elke burger en bezoeker in Amsterdam een gelijke kans te geven om geanonimiseerd te worden. Om dit te bereiken is allereerst in kaart gebracht op basis van welke visuele kenmerken het algoritme mogelijk zou kunnen discrimineren, denk aan leeftijden, huidskleur en mensen met hulpmiddelen, zoals een rolstoel. Om te voorkomen dat het blur algoritme bepaalde type mensen beter herkent dan andere, wordt het algoritme getraind op een specifiek geselecteerde trainingsdataset.

Voor alle visuele kenmerken die in kaart zijn gebracht, zullen beelden worden geselecteerd waarop een goede vertegenwoordiging van deze kenmerken kan worden verwacht. Denk aan beelden rondom scholen voor de vertegenwoordiging van kinderen en beelden rondom revalidatiecentra voor de vertegenwoordiging van mensen in een rolstoel. Op deze manier wordt het model getraind om alle type personen te herkennen en wordt gelijkheid bevorderd.

Update 2024: Inmiddels is Blurring as a Service (BaaS) in gebruik genomen, dit zal in een mogelijk vervolgtraject worden ingezet om de beelden te anonimiseren.

Risicobeheer Toon Meer Toon Minder

Risico's in verband met het systeem en het gebruik ervan en de beheersmethoden.

Het zogenaamde ‘dataketen’ is uitgebreid tijdens de Pilot. Dat betekent dat over de hele linie maatregelen zijn getroffen om de data veilig te verwerken en om incidenten (bv. het blur algoritme werkt niet meer) snel en doeltreffend op te lossen volgens vaste procedures. Tijdens de Pilot zal in het bijzonder aandacht worden geschonken aan het zorgvuldig anonimiseren van de beelden en het op de juiste manier verwijderen van de overbodig data. Aanvullend zal veel aandacht worden besteed aan de eindgebruikers van de voorziening. Zij moeten goed op de hoogte zijn van de werking van de voorziening (met bijbehorende algoritmes) en wat de potentiële risico’s zijn. Toezichthouder moeten altijd zelfstandig tot keuzes moeten kunnen komen. Daardoor is het van belang dat de output goed kan worden geïnterpreteerd en een signaal juist ook ter zijde kunnen schuiven. 

Vond u deze informatie nuttig?