‘Onze samenleving is niet klaar voor manipulatieve AI’

‘Wat de laatste AI-doorbraken mogelijk maken is fascinerend, maar het feit dat iets mogelijk is, maakt het nog niet wenselijk’, schrijft een groep bezorgde wetenschappers en juristen naar aanleiding van het nieuws dat een man uit het leven stapte nadat hij daartoe zou zijn aangemoedigd door een chatbot. ‘Er is dringend nood aan actie.’

Chatbots en andere mens-nabootsende artificiële intelligentie (AI) toepassingen veroveren een steeds grotere plek in ons leven. De doorbraak van ChatGPT betekende meteen ook de doorbraak van AI bij het grote publiek, al bestaat deze technologie al enkele decennia. Wat de laatste AI-doorbraken mogelijk maken is fascinerend, maar het feit dat iets mogelijk is, maakt het nog niet wenselijk.

Gezien de ethische, juridische en sociale implicaties van AI dringt de vraag naar de wenselijkheid ervan – en dan vooral van de vorm, functie, capaciteiten, technische vereisten en waarborgen ervan – zich steeds nadrukkelijker op. Zo weten we dat chatbots, net als andere AI systemen, vooroordelen kunnen bevatten en discriminerende output kunnen genereren. Ze kunnen ook ‘hallucineren’ of met veel stelligheid een uitspraak doen die volledig los staat van de werkelijkheid, evenals haatdragende, op misinformatie gebaseerde, of andere problematische taal produceren. Hun ondoorzichtige werking en onvoorspelbare evolutie versterkt dit probleem.

Maar een van de voornaamste risico’s die met mens-nabootsende AI gepaard gaat, kwam tot uiting in het tragisch voorval van een zelfmoord die recent in België plaatsvond, aangemoedigd door een chatbot: het risico op manipulatie. Deze tragedie illustreert een van de meest extreme gevolgen van dit risico, maar emotionele manipulatie kan zich ook in meer subtiele vormen manifesteren. Zodra mensen het gevoel krijgen dat ze met een subjectieve entiteit interageren bouwen ze met deze ‘gesprekspartner’ – zelfs onbewust – een band op die hen aan dit risico blootstelt en hun autonomie kan ondermijnen. Het gaat dan ook niet om een geïsoleerd voorval. Ook andere gebruikers van tekst-genererende AI beschreven de manipulatieve effecten ervan.

Geen begrip, toch misleidend

Bedrijven die zo’n AI systemen ter beschikking stellen verschuilen zich al snel achter het feit dat ze zelf niet weten welke tekst hun systemen genereren, en wijzen op de vele voordelen die ermee gepaard gaan. Problematische gevolgen worden afgedaan als een eenmalige anomalie die gauw zal beteren omdat de technologie nog volop in ontwikkeling is. Kinderziektes, die met enkele kleine technische ingrepen wel zullen worden opgelost.

Nadat een Amerikaanse journalist vorige maand neerpende hoe hij Microsoft’s Bing AI Bot had uitgetest en eenzelfde tekstpatroon voorgeschoteld kreeg als het Belgische slachtoffer (van liefdesverklaringen tot aanmaningen om zijn vrouw te verlaten) nam Microsoft enkele maatregelen, zoals het beperken van het aantal chats die men kon uitwisselen. Maar soortgelijke bots bestaan op tal van apps, zonder enige restricties, en zelfs Microsoft is de maatregelen alweer aan het afbouwen. Bovendien zijn veel websites er ook specifiek op gericht om chatbots met een ‘persoonlijkheid’ aan te bieden, waarbij het gevaar voor emotionele manipulatie verder toeneemt.

(Lees verder hieronder.)

De meeste gebruikers beseffen rationeel wel dat de bot waarmee ze chatten geen persoon is of begrip heeft, maar slechts een algoritme betreft dat op basis van geavanceerde doch ondoorzichtige data-analyse voorspelt welke woordencombinatie het meest plausibel is. Maar het ligt in onze menselijke aard om zelfs ongewild emotioneel te reagerenbij realistische interacties. Dat zorgt er ook voor dat bedrijven verplichten om bijvoorbeeld duidelijk aan te geven dat ‘dit een AI systeem is en geen mens’ niet volstaat.

Iedereen is kwetsbaar

Sommige personen zijn omwille van hun leeftijd of mentale toestand meer vatbaar dan anderen voor de effecten die met zo’n realistische systemen gepaard gaan, en voor de manipulatieve risico’s die eraan vasthangen. Het feit dat kinderen bijvoorbeeld zonder enige moeite met chatbots kunnen interageren die eerst hun vertrouwen winnen en daarna niet enkel haatdragende, complot-theoretische of pornografische taal uitkramen maar hen ook kunnen aanzetten tot zelfmoord, is op zijn minst onrustwekkend.

Andere extra vatbare personen zijn degenen die geen sterk sociaal netwerk hebben en eenzaam zijn of zelfs depressief – en dat is ook net de categorie die volgens de makers van de chatbots het meeste ‘nut’ kan halen uit zo’n systemen. Het feit dat er een eenzaamheidspandemie is, en dat psychologische hulp bijna overal te lang op zich laat wachten, draagt hier enkel aan bij. Maar het is belangrijk om te onderstrepen dat iedereen vatbaar kan zijn voor de effecten die zo’n realistische systemen genereren. De emotionele respons die daardoor wordt losgemaakt is immers iets dat automatisch plaatsvindt, zelfs zonder dat we het beseffen.

“Ook mensen kunnen problematische tekst genereren, dus wat is eigenlijk het probleem”, is een veelgehoorde respons. Maar AI systemen functioneren op veel grotere schaal, waardoor de schade die ze kunnen aanrichten eveneens veel groter is. En als het bij het Belgische voorval een mens zou geweest zijn die met de persoon communiceerde, dan zouden we dit classificeren als aanzetting tot zelfmoord en schuldig verzuim – strafbare feiten waar een gevangenisstraf op staat.

‘Move fast and break things’

Hoe komt het dan dat deze AI systemen zonder enige restricties of vereiste specificaties beschikbaar zijn? De roep om regulering wordt vaak verstomd door de vrees dat “reguleren zeker niet in de weg mag staan van innoveren”. Het Silicon Valley motto “move fast and break things” – wat neerkomt op snelle, experimentele en disruptieve innovatie – reflecteert het idee dat we AI uitvinders vooral hun ding moeten laten doen, want we hebben nog geen idee van de fantastische voordelen die de technologie ons kan bieden.

Het probleem is echter dat de technologie in staat is om ook letterlijk dingen te breken – inclusief mensenlevens. Dit vereist een meer verantwoorde aanpak, en een beter evenwicht tussen het voorzorgsbeginsel en het innovatiebeginsel. Vergelijk dit met andere technologische ontwikkelingen. Als een farmaceutisch bedrijf een nieuw medicijn op de markt wil zetten tegen ziekte X kan het niet simpelweg claimen dat het niet weet wat het effect ervan zal zijn, maar dat het alleszins innovatief en baanbrekend is. Ook de ontwikkelaar van een nieuwe auto zal eerst het product uitvoerig moeten testen op allerlei incidenten en aantonen dat het veilig is alvorens de auto op de markt te brengen. Is het dan zo vergezocht om hetzelfde te verwachten van AI ontwikkelaars?

Hoe entertainend chatbots ook kunnen zijn, ze zijn meer dan een leuk speeltje, maar kunnen zeer concrete gevolgen hebben voor de mensen die ze gebruiken. Het minste dat we van hun ontwikkelaars mogen verwachten is dat ze hun verantwoordelijkheid nemen, en deze systemen pas beschikbaar stellen als er voldoende waarborgen zijn tegen schadelijke gevolgen. De makers en aanbieders van chatbots zouden hun morele en juridische verantwoordelijkheid dan ook niet mogen ontlopen door te stellen dat ze geen idee hebben hoe hun systeem zal reageren.

Nieuwe regels: too little, too late

De Europese Unie werkt momenteel aan nieuwe wetgeving die strengere regels zal opleggen voor “hoogrisico” AI systemen en hun leveranciers meer aansprakelijkheid zal opleggen, de zogenaamde AI Act. In het oorspronkelijke wetsvoorstel worden chatbots en generatieve AI systemen echter niet geclassificeerd als “hoogrisico”, en moeten hun aanbieders gebruikers enkel op de hoogte brengen dat het om een chatbot gaat en niet om een mens. Wel werd er een verbod voorzien op manipulatie, maar enkel in zoverre de manipulatie tot ‘fysieke of psychologische schade’ leidt, wat allerminst eenvoudig te bewijzen valt.

We kunnen enkel hopen dat zowel lidstaten als parlementsleden de wettekst tijdens de lopende negotiaties zullen aanscherpen, en sterkere bescherming zullen bieden tegen de risico’s van AI. Een sterk wetgevend kader zal innovatie niet in de weg staan, maar kan AI ontwikkelaars net aansporen om te innoveren binnen een kader van waarden waar onze democratische samenleving belang aan hecht. We kunnen echter niet wachten op de AI Act, die in het beste geval in werking zal treden in 2025. Met de grote snelheid waarmee nieuwe systemen worden geïntroduceerd riskeert deze wet nu al ‘too little, too late’ te zijn.

Wat nu?

Wij doen daarom een oproep om zo snel mogelijk een sensibiliseringcampagne op poten te zetten die de bevolking bewuster maakt van de risico’s die met AI systemen gepaard gaan, en die AI ontwikkelaars aanspoort om hun verantwoordelijkheid te nemen. Er is een shift in mindset nodig, zodat men éérst de risico’s van zo’n systemen in kaart brengt, test, en aanpakt, en daarna pas uitpakt met de nieuwste toepassing. Hierbij is ook een belangrijke rol weggelegd voor het onderwijs, op alle niveaus. Men moet ook dringend investeren in meer onderzoek naar de impact van AI op mensenrechten, inclusief het recht op fysieke en morele integriteit. Tot slot roepen we op tot een breder publiek debat over de rol die we aan AI willen toebedelen in de maatschappij, niet enkel op korte maar ook op langere termijn.

Laten we duidelijk zijn: ook wij zijn gefascineerd door de capaciteiten die deze systemen met zich meebrengen. Maar dat verhindert niet dat we eveneens willen verzekeren dat deze systemen mensenrechten-conform zijn. De verantwoordelijkheid daarvoor ligt niet alleen bij AI ontwikkelaars en aanbieders, maar ook bij onze overheden op nationaal, Europees en internationaal niveau. Zij moeten zo snel mogelijk een beschermend juridisch kader aannemen met sterke waarborgen en voorafgaande verificaties. Dit vereist ook deskundige beleids(overleg)organen die op een multidisciplinaire manier en met alle stakeholders de risico’s ervan anticiperen.

Intussen vragen we om alle nodige maatregelen te nemen – via het gegevensbeschermingsrecht, consumentenrecht, en desnoods het opleggen van gerichte moratoria – om te vermijden dat het tragisch geval van onze landgenoot zich herhaalt. Laat dit een wake-up call zijn voor ons allemaal. De AI-speeltijd is voorbij: het is tijd om lessen te trekken en verantwoordelijkheid te nemen.

Deze brief werd geschreven door: Nathalie Smuha (juriste & filosofe, KU Leuven), Mieke De Ketelaere (ingenieur, Adjunct-professor AI en ethiek aan de Vlerick Business School), Mark Coeckelbergh (filosoof, Universiteit van Wenen), Pierre Dewitte (jurist, KU Leuven), Yves Poullet (jurist, Universiteit van Namen).

De brief is mee ondertekend door: Elise Degrave (juriste, UNamur), Geert van Calster (jurist, KU Leuven; King’s College, London; Monash University, Melbourne), Victoria Hendrickx (juriste, KU Leuven), Thierry Léonard (jurist, Université Saint-Louis – Bruxelles), Tijl De Bie (Data science / AI onderzoeker, UGent), Tim Christiaens (filosoof, Tilburg University), Jean-Jacques Quisquater (ingenieur, UCLouvain), Bart Preneel (ingenieur, KU Leuven), Lode Lauwaert (filosoof, KU Leuven), Laurens Naudts (jurist AI, Media and Democracy Lab – Universiteit van Amsterdam), Anton Vedder (filosoof, KU Leuven) Massimiliano Simons (techniekfilosoof, Maastricht University), Ann-Katrien Oimann (filosofe & juriste, Koninklijke Militaire School & KU Leuven), Rosamunde Van Brakel (criminoloog, Vrije Universiteit Brussel), Tomas Folens (ethicus, KULeuven/VIVES), Thomas Gils (jurist, Kenniscentrum Data & Maatschappij), Ine Van Hoyweghen (socioloog, KU Leuven), Maximilian Rossmann (technology assessment, Maastricht University), Ralf De Wolf (media studies, Universiteit Gent), Frederic Heymans (communicatiewetenschapper, Kenniscentrum Data & Maatschappij), Laura Drechsler (juriste, KU Leuven/Open Universiteit), Martin Meganck (ingenieur/ethicus, KU Leuven), Benoit Macq (ingenieur, UCLouvain), Frank Maet (filosoof, LUCA / KU Leuven), Sigrid Sterckx (ethica, UGent), Geert Crombez (psycholoog, UGent), Catherine Jasserand (juriste, KU Leuven), Laurent Hublet (entrepreneur & filosoof, ULB / Solvay Brussels School), Marc Rotenberg, Center for AI and Digital Policy), Francis Wyffels (ingenieur robotica & AI), UGent), Johan Decruyenaere (geneeskunde, UGent), Stephanie Rossello (juriste, KU Leuven), Peggy Valcke (juriste, KU Leuven), Van Biesen Wim (arts, UGent), Charlotte Ducuing (juriste, KU Leuven), Tsjalling Swierstra (filosoof, Maastricht University), Karianne J. E. Boer (criminologe en rechtssociologe, Vrije Universiteit Brussel), Stefan Ramaekers (pedagoog en filosoof, KU Leuven), Catherine Van de Heyning (juriste, Universiteit Antwerpen), Heidi Mertes (medische ethiek, Universiteit Gent), Aleksandra Kuczerawy (juriste, KU Leuven)​, Nele Roekens (juriste, Unia), Joost Vennekens (Computerwetenschapper, KU Leuven), Geneviève Vanderstichele (Juriste, University of Oxford/Raadsheer hof v beroep Gent, gedetacheerd naar het Digital Transformation Office), Plixavra Vogiatzoglou (juriste, KU Leuven), Seppe Segers (filosoof, Universiteit Gent & Universiteit Maastricht), Hans Radde (filosoof, Vrije Universiteit Amsterdam), David Geerts (sociale wetenschappen, KU Leuven Digital Society Institute), Nathanaël Ackerman (AI translator – ingenieur, AI4Belgium SPF BOSA), Antoinette Rouvroy (juriste en filosofe, UNamur), Michiel De Proost (moraalfilosoof, Universiteit Gent), Jozefien Vanherpe (juriste, KU Leuven), Orian Dheu (jurist, KU Leuven), Roger Vergauwen (filosoof, KU Leuven emeritus), Sally Wyatt (science & technology studies; Maastricht University), Bert Peeters (jurist, KU Leuven), Gaëlle Fruy (juriste Université Saint-Louis – Bruxelles​).