Organisaties investeren volop in big data: ze verzamelen de persoonlijke gegevens van burgers en laten die door een algoritme analyseren. De Amerikaanse wiskundige Cathy O’Neil waarschuwt voor de gevaren van die trend.
Cathy O’Neil is doctor in de wiskunde en voormalig analist bij een hefboomfonds. In haar nieuwe boek Weapons of Math Destruction richt ze haar pijlen vooral op de Verenigde Staten. Daar beoordelen algoritmes – reeksen instructies waarmee computers een massa gegevens kunnen ontsluiten – op grote schaal cv’s of evalueren ze leerkrachten. Maar haar waarschuwing gaat net zo goed op voor Europa, en dus ook voor België.
CATHY O’NEIL: We zien de combinatie van big data en algoritmes als een soort zilveren kogel: al onze problemen zouden we ermee kunnen doorgronden en aanpakken. Maar het is niet omdat iets wiskundig is, dat het ook objectief is. Of dat het geen discriminatie in de hand werkt.
Hoe kan een algoritme ongelijkheid in de hand werken?
O’NEIL: Een voorbeeld: het algoritme waardoor bedrijven als Facebook hun gebruikers gerichte reclameboodschappen kunnen inlepelen, maakt dat jij en ik een advertentie voor schoenen te zien krijgen. Daar is op zich niets mis mee. Maar kansarme mensen krijgen reclame voor kwestieuze leningen of opleidingen voorgeschoteld. Hun wanhoop wordt uitgebuit.
‘Voorspellend politiewerk’, waarmee misdaden worden voorkomen door data te analyseren, komt in België stilaan onder stoom. Ziet u daar ook een probleem in?
O’NEIL: Ik vrees van wel. Om te beginnen kun je zware misdaden – verkrachting, geweld, moord – amper voorspellen. Wat gebeurt er nu? Een algoritme verwacht geweld in een bepaalde buurt, en dus stuurt de politie extra agenten uit. Dat levert zelden meer op dan een paar pv’s voor overlast of vandalisme. Maar die pv’s stoppen ze achteraf wél in het systeem. Gevolg: het algoritme zal de buurt nog meer viseren. Zonder dat er ooit één zware crimineel is ingerekend.
Ook op de arbeidsmarkt raken algoritmes ingeburgerd.
O’NEIL: In de VS wordt meer dan de helft van de sollicitaties niet meer door mensen behandeld. Algoritmes screenen cv’s op trefwoorden en stellen een behapbaar stapeltje voor aan de hr-manager. Kandidaten met een ‘problematische’ medische voorgeschiedenis worden er meteen uitgefilterd. Opnieuw: mensen als jij en ik hoeven zich daarover geen zorgen te maken. Het probleem zit hem aan de onderkant van de maatschappij, bij mensen die zich kandidaat stellen voor jobs bij callcenters en fastfoodrestaurants.
Big data verdelen de samenleving grofweg onder in winnaars en verliezers. Dat is op zich al problematisch. Maar nog erger is dat die systemen amper bijgestuurd worden. Ze hebben wereldwijd een impact op ons leven, maar zijn volkomen ondoorzichtig. Niemand mag weten hoe ze werken. Niemand die ooit controleert of iemand onterecht als ‘verliezer’ is weggezet. De verliezers verdwijnen gewoon. Daarom pleit ik voor transparantie.
Daarvoor moeten bedrijfsgeheimen worden prijsgegeven. Niet iedereen zal daar happig op zijn.
O’NEIL: Geen enkel restaurant wil het recept van zijn topgerecht vrijgeven, dat begrijp ik wel. Maar wat als dat gerecht de helft van de klanten vergiftigt? Dan moet je wel iemand rekenschap kunnen laten afleggen. Zonder die verantwoordingsplicht zijn big data een bedreiging voor onze democratie.
Kristof Dalle
‘In de VS wordt meer dan de helft van de sollicitaties door algoritmes behandeld, en niet meer door mensen.’
