‘Voorwaarden om beslissingen uit te besteden aan algoritmen moeten transparanter’

‘Er is een stijgende nood aan AI-systemen die een uitleg kunnen verschaffen aan de gebruiker, en duidelijk maken welke criteria in rekening genomen werden om tot de beslissing te komen’, schrijven Ann Nowé, Katleen Gabriëls en Bram Vanderborght naar aanleiding van Homo Roboticus. Voor de Universiteit Van Vlaanderen buigt Katleen Gabriëls zich over de vraag of robots kunnen discrimineren.

We zijn het ondertussen gewoon: jonge bestuurders betalen meer voor hun verplichte autoverzekering dan ervaren bestuurders. Naast het type wagen en het aantal afgelegde kilometers speelt woonplaats ook een rol. Wie in een drukke buurt woont, heeft meer kans op een ongeval. Maar zelfs de kleur van de wagen bepaalt mee de premie. Dat bleek uit een studie van de Nederlandse Consumentenbond: wie in een zwarte wagen reed, betaalde meer. Bedrijven en overheden moeten verplicht worden tot meer openheid bij beslissingen, zeker nu die in stijgende lijn aan artificiële intelligentie (AI) uitbesteed worden.

Door de opmars van AI nemen computers en robots meer en meer beslissingen. Dat levert veel relevante toepassingen op, die uiteraard verder reiken dan verzekeringen: betere diagnoses waardoor kankers sneller worden opgespoord, contracten die door AI worden nagelezen op juridische inconsistenties, camerabeelden die real-time worden verwerkt om gevaren met massa’s in te schatten bij grote manifestaties, enzovoort. Bij al deze AI-toepassingen nemen algoritmen beslissingen voor en over ons.

Maar algoritmen oefenen hun macht niet over ons uit: mensen beslissen over het al dan niet delegeren van besluitvorming aan algoritmen, en onder welke voorwaarden. Die voorwaarden moeten transparanter.

Beslissingen zijn vaak zo complex dat ze moeilijk te vatten zijn in instructies die uitgevoerd kunnen worden door een computer. De statistische kans berekenen dat iemand met een bepaalde leeftijd een ongeval veroorzaakt, is nog in een formule te gieten. Maar wat met een veelheid aan gegevens? In dergelijke gevallen bieden zelflerende algoritmen soelaas: computeralgoritmen die zichzelf een beslissingsproces kunnen aanleren. Hiervoor moet je de computer met heel wat data voeden, zoals de database van ongevallen of een gigantische hoeveelheid foto’s van gezond en huidweefsel met kanker. Algoritmen leren aan de hand van die foto’s patronen herkennen. Door de enorme hoeveelheid data (de database of de foto’s) en heel wat computerkracht worden diagnoses steeds beter, vaak zelfs accurater dan wanneer een expert ze na jarenlange ervaring stelt. Een computer is nu eenmaal sterker dan een mens in het doorzoeken van enorme hoeveelheden informatie. Helaas kan de computer vaak niet uitleggen waarom een bepaalde beslissing werd genomen. Het beslissingsproces dat de machine zich eigen gemaakt heeft, is voor mensen niet transparant. In tegenstelling tot een menselijke expert kan zo’n systeem ook niet reflecteren over de genomen beslissing.

Discriminatie

Als verhuurders weigeren om hun woning aan een allochtoon koppel te verhuren, dan kan hen terecht discriminatie verweten worden. Maar wanneer een algoritme op een ondoorgrondelijke manier tot die beslissing komt, dan lijkt er ‘objectiviteit’ te zijn die er vaak niet is. Er is een reëel risico op discriminatie wanneer het algoritme een beslissing baseert op een eigenschap, zoals geslacht of afkomst.

Ondanks die risico’s wordt dergelijke informatie vandaag aangeboden aan algoritmen. In de Verenigde Staten wordt AI gebruikt om de kans in te schatten dat criminelen gaan recidiveren. Onderzoek heeft aangetoond dat ze een onterecht hoge score geven aan zwarten en een te lage score aan blanken. Ook zijn er vaak onrechtstreekse verbanden die door het algoritme worden gebruikt, zoals verbanden tussen hobby’s en geslacht. Zelfs al zijn deze relaties niet zo sterk, ze kunnen versterkt worden door een andere zwakke relatie, zoals die tussen beroep en geslacht en bijgevolg wordt onrechtstreeks toch geslacht meegenomen in de beslissing. Amazon heeft zijn AI ‘recruitment tool’ definitief aan de kant geschoven omdat de software een voorkeur voor mannen had. Die software leerde immers uit de CV’s die het bedrijf ontving, waarin vrouwen ondervertegenwoordigd zijn. De algoritmen gaven zelfs voordeel aan motivatiebrieven met typisch mannelijk woordgebruik.

Er is een stijgende nood aan AI-systemen die een uitleg kunnen verschaffen aan de gebruiker, en duidelijk maken welke criteria in rekening genomen werden om tot de beslissing te komen. Dat is een eerste stap in de richting van echte uitlegbare AI, waar mensen proactief geïnformeerd worden over alle nuances en relevante patronen achter de beslissing. Welke aspecten van jouw profiel hebben geleid tot het al dan niet toekennen van een verzekering, risico-inschatting of medische behandeling? Als consument, patiënt, burger, … hebben we het recht om die informatie in heldere taal te ontvangen.

Kinderschoenen

Hoewel de transparantie van het redeneerproces een essentieel onderdeel vormde van de AI-expertsystemen in de jaren 1980, staat dit onderzoeksdomein van ‘Explainable AI’ nog in zijn kinderschoenen voor AI die leert uit de zogenaamde big data. Een grondige kennis van de AI-algoritmen is noodzakelijk om aspecten van rechtvaardigheid ten aanzien van het individu of de groep te kunnen garanderen, en vooringenomenheden zoals die van de ‘recruitment tool’ van Amazon te voorkomen. Met de nieuwe Europese Algemene Verordening Gegevensbescherming (beter bekend als GDPR) wordt vereist dat alle AI-systemen die van invloed zijn op mensenlevens verantwoordelijk worden gehouden voor hun acties en zich dus moeten kunnen uitleggen. Dit is een terechte eis.

Maar waarom zouden we die enkel opleggen aan een algoritme? Elke beslissing op dit vlak, genomen door een algoritme of een mens bij een bedrijf, overheid of andere instelling, zou transparant moeten zijn. De chauffeur van een zwarte wagen heeft het recht om te weten dat die mogelijk een hogere verzekeringspremie betaalt. Meer openheid is noodzakelijk om als maatschappij of mens te kunnen oordelen of we bepaalde beslissingen al dan niet ethisch verantwoord vinden. Het is een goede zaak dat, door popularisering van AI, ethiek hoog op de agenda staat, maar een ruimer debat is noodzakelijk.

Ann Nowé (professor AI, VUB); Katleen Gabriels (assistant professor Filosofie en ethiek, Maastricht University, en Calewaert-leerstoel VUB), Bram Vanderborght (professor Robotica, VUB).