Allerlei overheidsdiensten gebruiken algoritmes, bijvoorbeeld om sociale fraude en criminaliteit op te sporen of zelfs te voorspellen. Het gevaar van stigmatisering ligt daarbij op de loer. ‘Technologie geeft de schijn van objectiviteit, maar we vergeten dat de algoritmes door mensen bedacht worden.’
Algoritmes bepalen welke Facebookberichten je als eerste ziet, welke series op Netflix bovenaan staan, en welke reclames in je mailbox verschijnen. Wat minder bekend is, is dat overheden ook algoritmes gebruiken. Niet alleen om de dienstverlening te verbeteren, maar ook om fraude en criminaliteit op te sporen. Zie algoritmes als een reeks instructies die een computer uitvoert om in grote hoeveelheden data patronen te zoeken en zelfs te voorspellen: welk type chauffeur heeft de grootste kans op snelheidsovertredingen? In welke buurt wordt het meest met uitkeringen gesjoemeld? Zo kun je gerichter misstanden controleren en zelfs voorkomen. Algoritmes maken het werk dus efficiënter en goedkoper. Maar er zijn ook gevaren. Algoritmes kunnen verbanden suggereren die er niet zijn en onterecht verdachten aanwijzen. Ze kunnen bovendien, net als mensen, discrimineren.
Tachtig procent van de belastingcontroles wordt nu geselecteerd door datamining, de overige twintig procent gebeurt op initiatief van de inspecteur.
Van btw-fraude tot jobsuggesties
We weten eigenlijk vrij weinig over het gebruik van algoritmes door overheidsdiensten, maar uit een rondgang van Knack blijkt dat ze wijdverspreid zijn. De FOD Financiën gebruikt algoritmes om btw-fraude, ontduiking van successierechten, en de uitvoer van militaire goederen gerichter te kunnen controleren. ‘We merken dat we via datamining in staat zijn om veel gerichter fraude op te sporen’, laat woordvoerder Florence Angelici weten. Algoritmes zijn de zoekmiddelen die datamining mogelijk maken. De fiscus is in zijn nopjes met de methode: volgens het jongste jaarverslag stijgt de opbrengst van controle op persoonsbelasting, terwijl het aantal belastingambtenaren en controles juist afneemt. Tachtig procent van de controles wordt nu geselecteerd door datamining, de overige twintig procent gebeurt op initiatief van de inspecteur.
De Rijksdienst voor Sociale Zekerheid (RSZ) is inmiddels een routinier op het gebied van dataminingtechnieken. De dienst gebruikt ze al sinds 2011 om fraude bij werkgevers op te sporen. Algoritmes signaleren opvallende veranderingen in bijvoorbeeld lonen en arbeidstijden, in- en uitdiensttreding, of verhuizing van bedrijven. Maar, ‘het zijn niet de machines die zeggen dat iemand fout is, dat is nog altijd het werk van de inspecteurs. Het zijn de mensen op het terrein die continu nieuwe dingen ontdekken. De fraude van vandaag is immers niet de fraude van morgen’, benadrukt administrateur-generaal Koen Snyders. De algoritmes worden daarom continu aangescherpt door een gespecialiseerd datateam. Het aantal zaken dat door algoritmes aan het licht komt, ligt rond de tien procent. Dat lijkt niet veel, toch is de RSZ tevreden met de computerhulp. Daardoor kunnen de inspecteurs complexe fraudezaken eerder en sneller aanpakken.
Wie nog geen werk heeft, komt bij arbeidsbemiddelaar VDAB terecht. En ook daar helpen algoritmes een handje mee. Bijvoorbeeld om te kijken hoe groot de kans is dat een werkzoekende in de komende zes maanden een nieuwe job zal vinden. De personen met een lage kans worden als eerste benaderd voor een gesprek door een VDAB-consulent en op weg geholpen. Algoritmes kunnen op basis van soortgelijke profielen van werkzoekenden ook jobsuggesties doen, een beetje zoals Netflix je persoonlijk wegwijs maakt in het film- en serieaanbod. Dat betekent ook dat het (geanonimiseerde) klikgedrag van werkzoekenden wordt bijgehouden.
Tunnelvisie is een reëel gevaar. Hoe voorkom je dat bepaalde groepen personen bovenmatig gecontroleerd of juist minder geholpen worden? Woordvoerder Joke Van Bommel benadrukt dat de VDAB rekening houdt met de privacy en met eventuele tekortkomingen van de algoritmes. Zo lopen er twee initiatieven om vooringenomenheid in data en in het model op te sporen. Bovendien worden er, net zoals bij de RSZ, nooit beslissingen genomen alleen op basis van computersuggesties. De algoritmes ondersteunen de VDAB-consulenten bij hun werk.
Predictive policing
Ook bij misdaadbestrijding zijn de beloften van big data groot. De politiezone Westkust experimenteert al enkele jaren met predictive policing: voorspellen waar de hoogste kans op criminaliteit ligt om daar gericht politie in te kunnen zetten. Korpschef Nicholas Paelinck raakte geïnspireerd tijdens een reis naar de Verenigde Staten, waar de politie al langer denkt de toekomst te kunnen voorspellen. Paelinck stelde in 2016 dat het korps de criminaliteit aan de Westkust met 40 procent naar beneden kon brengen sinds de invoering van het systeem. Vooral bij veel voorkomende misdrijven als inbraken en autodiefstal werken de voorspellingen goed: hoe meer gegevens je het algoritme voert, hoe nauwkeuriger het wordt.
Bestaande discriminerende praktijken van de politie worden versterkt door algoritmes.
De federale politie heeft al aangekondigd interesse te hebben in predictive policing-methoden. Maar die zouden op zijn vroegst in 2020 toegepast kunnen worden onder de vlag van iPolice, wanneer alle politiediensten hun gegevens gaan delen in dezelfde cloud.
De Nederlandse politie loopt op dat vlak voorop. Binnen het Criminaliteits Anticipatie Systeem (CAS) worden steden in rasters van 125 bij 125 meter opgedeeld. Gegevens over criminaliteit, afstand tot bekende verdachten, het aantal uitkeringen per wijk, en leeftijd, geslacht en gezinssamenstelling van bewoners worden gecombineerd om de kans op een misdrijf te voorspellen. Zo ontstaan high risk areas. Een simpel voorbeeld: als er is ingebroken in een straat is de kans groot dat het nog eens in dezelfde straat gebeurt, maar die kans wordt ook beïnvloed door het weer (is het een heldere nacht of juist niet?), door straatverlichting, door de aanwezigheid van vuilcontainers (waar inbrekers op klimmen), en door de aanwezigheid van verdachten. De hoop is dat agenten zo gerichter kunnen patrouilleren en misdaad kunnen voorkomen.
Toch wantrouwt een deel van de straatagenten het systeem, bleek uit onderzoek van de Hogeschool Utrecht en de Vrije Universiteit Amsterdam. Ze gaan liever af op hun eigen waarneming en vinden het belangrijker om goede contacten op te bouwen in de buurt. Sterker nog, de meerderheid van de mensen die de Politieacademie voor een evaluatie over het systeem sprak, zeiden dat CAS in hun beleving niet leidt tot meer effectiviteit of een daling van woninginbraken. Desondanks werd het systeem landelijk uitgerold.
Veelplegers
De belangrijkste vraag is: werken al die voorspellingen eigenlijk wel? Nee, zo bleek uit een recente audit in Los Angeles, de stad die in 2008 als eerste met predictive policing begon. Het voorspellen van misdaad aan de hand van hotspots en het opstellen van profielen van veelplegers werkt niet . Bovendien kan predictive policing leiden tot stigmatisering, discriminatie en wantrouwen jegens de politie. ‘Bestaande discriminerende praktijken van de politie worden versterkt door algoritmes’, zegt ook criminoloog Rosamunde van Brakel (VUB, afdeling Law, Science, Technology and Society). ‘Technologie geeft de schijn van objectiviteit, maar we vergeten dat de algoritmes door mensen bedacht worden.’
Algoritmes worden bovendien gevoed met historische gegevens, die vooringenomen kunnen zijn. Professor communicatiewetenschappen Pieter Ballon (VUB en imec) geeft een voorbeeld. ‘Als er bijvoorbeeld bovengemiddeld veel zwarte BMW’s worden aangehouden voor snelheidsovertredingen, kun je het algoritme daarop trainen. Als je die informatie dan ook nog combineert met gegevens over de bestuurder, bijvoorbeeld dat het vaak mannen zijn tussen de 40 en 50 jaar, dan train je een algoritme eigenlijk om te discrimineren.’ Dat effect wordt versterkt als er steeds meer zwarte BMW’s met bepaalde chauffeurs op basis van het algoritme zullen worden aangehouden, die de voorspelling bevestigen. Zo wordt het algoritme steeds selectiever.
Arme gebieden
Bij controles op sociale fraude ligt bovendien stigmatisering op de loer. Zo kun je vooral mensen controleren die in arme gebieden wonen, of mensen die grote gezinnen hebben. Neem het Nederlandse Systeem Risico Indicatie, of SyRi in het kort. SyRi gaat op basis van inkomens en persoonsgegevens op zoek naar verdachte patronen, zoals kinderbijslag waar geen kinderen staan ingeschreven, of een hoge energierekening terwijl er maar één persoon op dat adres zou wonen. Niet toevallig is SyRi in Rotterdam uitgeprobeerd in twee probleemwijken, met een hoge concentratie armoede en minderheden. Een op de tien bewoners kwam volgens SyRi in aanmerking voor extra controle. De wijkbewoners ervaren dat als ‘institutioneel wantrouwen’, schreef dagblad Trouw. Een van die bewoners vergeleek het zelfs met de razzia’s ten tijde van de Tweede Wereldoorlog.
Technologie geeft de schijn van objectiviteit, maar we vergeten dat de algoritmes door mensen bedacht worden.
Criminoloog Rosamunde Van Brakel is bang dat juist kwetsbare mensen de dupe zijn van algoritmes. ‘En zij kunnen zich het minst verweren.’ Stel dat zij erachter komen dat ze benadeeld zijn door een algoritme, en wel de weg weten te vinden naar de Privacycommissie om bezwaar te maken, dan is het maar de vraag of deze commissie op dit moment de capaciteit heeft om al die bezwaren na te gaan, zegt Van Brakel. Zij vindt dat de overheid altijd de vraag moet stellen wanneer algoritmes nodig zijn en of het middel in verhouding staat tot de opbrengsten. Uit een rondgang van de Volkskrant bleek eind juni dat SyRi – dat al tot rechtszaken van privacyorganisaties leidde – geen nieuwe fraudegevallen aan het licht heeft gebracht. De gemeente Rotterdam kondigde begin deze maand aan met SyRi te stoppen, wegens ‘zorgen over de juridische onderbouwing’.
Kans op recidive
De Amerikaanse wiskundige Cathy O’Neil waarschuwt al langer voor het gebruik van algoritmes. In haar boek Weapons of Math Destruction schrijft ze dat algoritmes ons steeds vaker indelen in kansrijke en kansloze burgers: algoritmes bepalen op welke school onze kinderen terechtkomen, of we wel of geen hypotheek krijgen, hoe duur onze verzekeringen zijn. Ze beïnvloeden ook hoelang gevangenisstraffen zijn. Zo bepaalde een algoritme in de staat Florida hoe groot de kans op recidive is, wat de rechter mee liet wegen in de zwaarte van de straf. Het zal niet verbazen dat in het Amerikaanse gevangenissysteem, waar jonge zwarte mannen zwaar oververtegenwoordigd zijn, dit algoritme zwarte mannen (en overigens ook vrouwen) een hogere kans toedichtte op recidive en dat zij tot twee keer hogere straffen kregen. Als we niet uitkijken, zegt O’Neil, maken algoritmes de ongelijkheid in onze samenleving alleen maar groter.
Professor Ballon werd er vorige maand toevallig zelf uitgepikt door een algoritme. Zijn onderzoeksgroep SMIT (Studies in Media, Innovation & Technology) aan de Vrije Universiteit Brussel kreeg een controle van de sociale dienst. Ballon: ‘Het algoritme had ons geflagd omdat er op hetzelfde adres een soortgelijke organisatie staat ingeschreven. Dat duidde op mogelijke sociale fraude. We zijn blootgesteld aan een uitgebreid onderzoek. De man die ons moest controleren zei: “Sorry, dit hadden we eigenlijk nooit hoeven te onderzoeken als het algoritme niet geflagd had.” Er is niks mis gegaan, maar het geeft wel aan dat er veel zaken zijn die op de achtergrond meedraaien waar je geen weet van hebt. Op basis van criteria waar je eigenlijk geen vat op hebt kun je in een probleemcategorie terechtkomen, dan ben je verdacht.’
Volgens Ballon zorgt dat ervoor dat we als burgers niet meer ‘gelijk aan het loket staan’. Op basis van gegevens waar wij geen weet van hebben, maakt de overheid risico-inschattingen en kan ze ons als verdachten aanmerken. Ballon: ‘De overheid moet zichzelf de vraag stellen: wanneer is dat gerechtvaardigd?’
Strengere regels?
De Nederlandse liberalen (D66) en de christendemocraten (CDA) deden onlangs een oproep in de Tweede Kamer voor strengere regels voor algoritmes en een onafhankelijke toezichthouder.
Ballon denkt dat het in Vlaanderen ook tijd wordt de discussie aan te zwengelen. ‘We zijn het er allemaal over eens dat bedrijven en burgers niet mogen discrimineren op basis van hun verwachting over het gedrag van bepaalde bevolkingsgroepen. Denk bijvoorbeeld aan de job- of huizenmarkt. Waarom zou de overheid dat dan wel mogen?’
Fout opgemerkt of meer nieuws? Meld het hier
