Dynamic page for System

Overzicht

Objectherkenning Openbare Ruimte Containers

Tags

Het Computer Vision Team van de gemeente Amsterdam (hierna: CVT) heeft voor Toezicht en Handhaving van de Openbare Ruimte (hierna: THOR) een algoritme ontwikkelt die het mogelijk maken om zware objecten zoals (vuil)containers te herkennen. Dit algoritme kan worden ingezet om te detecteren of er zware objecten op kwetsbare bruggen en kademuren worden gezet. Het doel hierachter is om deze kwetsbare bruggen en kades te beschermen tegen instorting. Het algoritme maakt het mogelijk om beter zicht te krijgen waar de containers zich bevinden in (kwetsbare) delen van de stad.

Voor het algoritme wordt er een scanvoertuig ingezet die is voorzien van een camera. Dit scanvoertuig betreft een fiets die op regelmatige basis door de stad gaat fietsen en maakt om de zoveel seconden en afstand een foto van de omgeving. Een computer die zich in het scanvoertuig bevindt analyseert de foto en detecteert met het door het CVT ontwikkelde objectherkenningsalgoritme of er een container in beeld is. Na het herkennen van containers in de openbare ruimte wordt er een signaal genereerd. Beelden waarop geen container wordt gedetecteerd worden direct door de computer verwijderd. 

Door dit signaal te voorzien van aanvullende informatie uit (gemeentelijke) bronnen, kan het werk van toezichthouders beter worden uitgevoerd. Dit kan bijvoorbeeld door in een melding informatie op te nemen over hoe urgent het signaal is op basis van de kwetsbaarheid van de betreffende kade waar de container op is geplaatst. Daardoor kan prioriteit worden gegeven aan urgente situaties. 

Contactgegevens

Gedetailleerde informatie over het systeem

Hier kunt u kennismaken met de door het systeem gebruikte informatie, de werkingslogica en het bestuur ervan op de gebieden die u interesseren.

Datasets Toon Meer Toon Minder

Belangrijke gegevensbronnen die worden gebruikt bij de ontwikkeling en het gebruik van het systeem, hun inhoud en gebruiksmethoden. De verschillende gegevensbronnen worden gescheiden door subkoppen.

Naam

Trainingsdataset voor de ontwikkeling van de algoritmes

Datasetbeschrijving

De gemeente heeft voor de ontwikkeling van het beeldherkennings- en bluralgoritme een reeds beschikbare dataset gebruikt. 

Bluralgoritme

Het gaat om grofweg 10.000 beelden met ruwe, dus niet geanonimiseerde, data. Deze beelden waren nodig om het algoritme handmatig personen en kentekens te leren herkennen, zodat deze kunnen worden verwijderd van beelden. Dit proces wordt ‘annotatie’ en ‘trainen’ genoemd. Deze beelden zijn alleen toegankelijk voor een aantal ontwikkelaars die de modellen trainen. De beelden blijven bewaard zolang het algoritme mogelijk doorontwikkeld moet worden.

Beeldherkenningsalgoritme. 

Om dit algoritme containers beter te laten herkennen wordt het algoritme continu getraind met geanonimiseerde en niet-geanonimiseerde beelden zodat het algoritme deze objecten ook in de toekomst succesvol kan blijven herkennen. Dat zorgt dat zorgt ervoor dat het algoritme beter in staat is om de containers te herkennen. Anders dan bv. Google Maps, blurt de gemeente ook het gehele postuur van personen in de openbare ruimte.

Naam

Productiedata

Datasetbeschrijving

Beelden

Het Scansysteem legt beelden vast die de volgende metadata bevatten:

• Datum;
• Tijdstip;
• Locatie (Coördinaten volgens ‘WGS84’ (EPSG 4326) en volgens ‘Amersfoort / RD New (EPSG 28992)));
• Heading (uitgedrukt in graden startend vanuit het noorden).

Deze beelden worden vervolgens allemaal geanonimiseerd met het bluralgoritme dat de gemeente Amsterdam heeft ontwikkeld. Direct hierna worden de beelden gefilterd op beelden met containers erop met het beeldherkenningsalgoritme ‘containers’. Alle beelden waarop géén containers zichtbaar zijn worden meteen verwijderd. De beelden met containers erop worden verrijkt met de volgende gegevens. 

• X-coördinaat
• Y-coördinaat
• Datum en tijdstip 
• Geschatte dichtstbijzijnde straatnaam en huisnummer waarop de containers zijn aangetroffen (deze informatie wordt enkel gebruikt om Toezicht en Handhaving naar de betreffende locatie te kunnen sturen. Er wordt expliciet gecommuniceerd dat er geen informatie bekend is in hoeverre dit ook het adres van de containereigenaar/huurder is).

 

Ontheffingsdata en informatie over kwetsbare bruggen en kademuren

Nadat voorgaande data (met de algoritmes) is verkregen, wordt deze informatie verrijkt met informatie uit vergunningen en over kwetsbare bruggen en kademuren. De volgende gegevens worden toegevoegd met betrekking tot de vergunningen die in het betreffende gebied zijn verstrekt:

• Locatie ontheffing
• Startdatum ontheffing
• Einddatum ontheffing

Vervolgens wordt onderzocht of de container zich op een kwetsbare brug of kademuur bevindt. Daarvoor wordt gekeken naar:

• Adres
• Status (kwetsbaar ja of nee)

Op basis van bovenstaande data kan dan de volgende informatie worden gegenereerd:

• Categorie Oranje (of Rood): mogelijk illegaal object (op kwetsbare kade)
• Afstand tot kwetsbare kade: 25meter
• Afstand tot objectvergunning: 40 meter

 

Versturen signaal via SIA naar City Control

Bovenstaande data wordt naar de Signalen Informatievoorziening Amsterdam gestuurd. SIA verwerkt dit tot een ‘signaal’ voorzien van een kaart met locatie aanduiding en stuurt dit door naar CityControl, zodat een toezichthouder hiermee kan werken. 

 

Hergebruik van beelden met containers

Geanonimiseerde beelden waarop containers te zien zijn worden hergebruikt om het beeldherkenningsalgoritme opnieuw mee te trainen. Het algoritme leert hiervan en zal daardoor beter gaan ‘presteren’. 

Human oversight Toon Meer Toon Minder

Menselijk toezicht tijdens het gebruik van de dienst.

Er is geen sprake van geautomatiseerde besluitvorming door gebruik te maken van de beeldherkenningsvoorziening. De voorziening genereert wel geautomatiseerd een signaal. Dit signaal wordt vervolgens (handmatig) beoordeeld door een toezichthouder, waarna mogelijkerwijs een buitendienstonderzoek zal plaatsvinden. De toezichthouder doet zelfstandig een beoordeling of de situatie legaal of illegaal is. Als dit laatste het geval is, zal een handhaver zelfstandig een besluit nemen. Daarmee is er sprake van voldoende betekenisvolle menselijke tussenkomst. 

De ‘output’ van de algoritmes draagt wel bij aan het nemen van de ‘beslissing’ om al dan niet nader onderzoek (buitendienstonderzoek) te doen naar de waargenomen container in de openbare ruimte. Daarmee is de voorziening (met bijbehorende algoritmes) dus wel van wezenlijke invloed. 

Gegevensverwerking Toon Meer Toon Minder

De operationele logica van de automatische gegevensverwerking en redenering uitgevoerd door het systeem en de gebruikte modellen.

Afbeelding van systeemarchitectuur

Architectuur van het AI-systeem.png

Prestatie

De algoritmes presteren goed op basis van de resultaten met de trainingsdataset. De prestaties van het beeldherkenningsalgoritme worden constant gecheckt door steekproeven uit te voeren. Desondanks heeft elk algoritme ook een zogenaamde foutmarge. Zo hebben de gebruikte algoritmes de volgende tekortkomingen:

• Beeldherkenningsalgoritme

De container is te ver weg waardoor het algoritme de container niet herkent. Het risico dat de container wordt gemist is echter klein, nu het waarschijnlijk is dat in het risicovolle gebied het scanvoertuig uiteindelijk toch langs de container komt, waardoor deze kan worden herkend. 

 

• Bluralgoritme

Het bluralgoritme heeft momenteel een accuraatheid van grofweg 95% voor mensen die dicht bij de camera staan. Voor mensen die verder weg staan van de camera ligt dat rond de 92%. Middels visuele inspectie op een steekproef is gebleken dat de personen die niet herkend worden meestal niet herkenbaar zijn, omdat zij bijvoorbeeld deels achter een boom staan. Idealiter worden deze personen uiteraard ook geblurred. Dit levert in de praktijk weinig bijvangst op, omdat als extra maatregel afbeeldingen worden verwijderd op basis waarvan géén signaal wordt gegenereerd. Dit wordt binnen enkele seconden in het scanapparaat automatisch uitgevoerd.

Non-discriminatie Toon Meer Toon Minder

Promotie en realisatie van gelijkheid in het gebruik van de dienst.

Het bluralgoritme heeft een lage foutmarge, desalniettemin is het mogelijk dat bepaalde groepen beter of minder goed worden herkend. Alle data wordt zo snel mogelijk verwijderd nadat blijkt dat deze niet meer nodig is. Dit betekent in de praktijk dat alle beelden binnen een minuut verwijderd zijn waar geen container op staat.

Het doel is om elke burger en bezoeker in Amsterdam een gelijke kans te geven om geanonimiseerd te worden. Om dit te bereiken is allereerst in kaart gebracht op basis van welke visuele kenmerken het algoritme mogelijk zou kunnen discrimineren, denk aan leeftijden, huidskleur en mensen met hulpmiddelen, zoals een rolstoel. Om te voorkomen dat het blurring-algoritme bepaalde type mensen beter herkent dan andere, wordt het algoritme getraind op een specifiek geselecteerde trainingsdataset.

Voor alle visuele kenmerken die in kaart zijn gebracht, zullen beelden worden geselecteerd waarop een goede vertegenwoordiging van deze kenmerken kan worden verwacht. Denk aan beelden rondom scholen voor de vertegenwoordiging van kinderen en beelden rondom revalidatiecentra voor de vertegenwoordiging van mensen in een rolstoel. Op deze manier wordt het model getraind om alle type personen te herkennen en wordt gelijkheid bevorderd.

Risicobeheer Toon Meer Toon Minder

Risico's in verband met het systeem en het gebruik ervan en de beheersmethoden.

Over de gehele linie zijn maatregelen getroffen om de data veilig te verwerken en om incidenten (bijvoorbeeld: het blurring-algoritme werkt niet meer) snel en doeltreffend op te lossen volgens vaste procedures. In het bijzonder is er aandacht binnen het project om de gemaakte omgevingsbeelden zorgvuldig te anonimiseren en de overbodige data te verwijderen. Aanvullend is er veel aandacht voor de eindgebruikers van de voorziening. Zij moeten goed op de hoogte zijn van de werking van de voorziening (met bijbehorende algoritmes) en wat de potentiële risico’s zijn. Toezichthouders moeten altijd zelfstandig tot keuzes moeten kunnen komen. Daardoor is het van belang dat de output goed kan worden geïnterpreteerd en een signaal juist ook ter zijde kunnen schuiven. 

Vond u deze informatie nuttig?