Gaten in de nieuwe Europese AI-regelgeving: nationale veiligheid gaat voor op rechten van de burger

De Europese Wet op Kunstmatige Intelligentie (AI Act) moet de bezorgdheid over het gebruik van AI-technologieën wegnemen. Maar onder druk van onder meer Frankrijk is veel strenge regelgeving afgezwakt, waardoor bijvoorbeeld politie en grensbewakers meer vrijheid krijgen om burgers in het geheim te surveilleren. Dat blijkt uit interne documenten waar Investigate Europe, een internationaal team van onderzoeksjournalisten, de hand op kon leggen.

Door Maria Maggiore, Leila Minano & Harald Schumann (Investigate Europe)

Over enkele dagen krijgen regeringen in de hele Europese Unie de macht om AI-gestuurde technologieën in te zetten die burgers volgen in de openbare ruimte, realtime surveillance uitvoeren op vluchtelingen in grensgebieden en gezichtsherkenningstools gebruiken tegen mensen op basis van hun vermoedelijke politieke voorkeur of religieuze overtuiging.

Dat zijn maar enkele van de vrijstellingen in het kader van de nationale veiligheid die zijn doorgedrukt in de Europese Wet op Kunstmatige Intelligentie (AI Act), wereldwijd de eerste in zijn soort. De wetgeving is ontworpen om de bezorgdheid over vooringenomenheid en privacy rond het gebruik van AI-technologieën en -algoritmes weg te nemen. De EU stelt dat de wet een ‘AI-ecosysteem creëert dat iedereen ten goede komt.’

Maar verschillende controversiële delen van de regelgeving zullen vanaf 2 februari 2025 van kracht worden, mede dankzij geheim lobbywerk van Frankrijk en een aantal andere Europese lidstaten. Uit interne documenten van de onderhandelingen, die in het bezit zijn van Investigate Europe, blijkt dat lidstaten met succes hebben gepleit voor het afzwakken van de maatregelen, waardoor politie en grensbewakers onder andere meer vrijheid krijgen om burgers in het geheim te surveilleren.

‘Door een reeks bureaucratische omissies is de AI Act niet de ambitieuze, mensenrechtenbeschermende wetgeving geworden waar velen op hoopten’, zegt Sarah Chander, medeoprichter van de Equinox Initiative for Racial Justice. ‘In werkelijkheid is de wetgeving ontworpen om een snellere ontwikkeling van de AI-markt in Europa mogelijk te maken en de digitalisering van openbare diensten te bevorderen.’

Verbod omzeilen

Investigate Europe analyseerde meer dan 100 documenten van besloten vergaderingen van de permanente vertegenwoordigers van de 27 lidstaten – de zogeheten Coreper – in de Raad van de EU, en sprak met meerdere bronnen die bij de onderhandelingen aanwezig waren. Die verslagen en getuigenissen van mensen uit het hele politieke spectrum onthullen hoe Frankrijk strategisch wijzigingen in de regelgeving heeft doorgevoerd.

Het gebruik van AI in openbare ruimtes is in grote lijnen verboden door de wet, maar door wijzigingen die zijn doorgedrukt door de regering-Macron en anderen, kunnen wetshandhavers en grensfunctionarissen dat verbod omzeilen. Zo staat het hen vrij om klimaatbetogingen of politieke protesten te monitoren met AI-gestuurde surveillance als dat volgens hen in het belang van de nationale veiligheid is.

Op de Coreper-vergadering van 18 november 2022 was de vertegenwoordiger van Frankrijk zeer duidelijk over wat zijn land wilde. ‘De vrijstelling voor veiligheid en defensie […] moet koste wat het kost worden behouden.’ Het betrof een onderdeel van de wet waarin werd voorgesteld dat alleen het leger in openbare ruimtes toezicht mocht houden. Frankrijk wilde een vrijstelling voor alle autoriteiten, als dat nodig was voor de ‘nationale veiligheid’. Tijdens een latere bijeenkomst spraken Italië, Hongarije, Roemenië, Zweden, Tsjechië, Litouwen, Finland en Bulgarije hun steun uit voor de Franse positie.

‘Het was een zware strijd en we hebben hem verloren’, zei een bron binnen het Europees Parlement die betrokken was bij de onderhandelingen, maar anoniem wilde blijven. In de definitieve tekst zijn er geen beperkingen — zoals goedkeuring door een nationale instantie of vermelding in een openbaar register — op het gebruik van surveillance in de openbare ruimte als een staat die noodzakelijk acht in het kader van de nationale veiligheid.

Privébedrijven

In de praktijk zullen die vrijstellingen ook gelden voor particuliere bedrijven — of derde landen — die AI-gestuurde technologie leveren aan politie- en wetshandhavingsinstanties. De tekst stelt dat surveillance is toegestaan ‘ongeacht de entiteit die deze activiteiten uitvoert’.

‘Dit artikel [2.3] gaat tegen elke grondwet in, tegen fundamentele rechten, tegen het Europese recht’, zei een jurist van de EVP-fractie in het Europees Parlement anoniem. ‘Frankrijk zou bijvoorbeeld de Chinese overheid kunnen vragen om satellieten in te zetten om foto’s te maken en de data vervolgens aan de Franse overheid te verkopen.’

De toegestane vrijstellingen druisen ook in tegen uitspraken van het Europees Hof van Justitie in 2020 en 2022, zegt Plixavra Vogiatzoglou, postdoctoraal onderzoeker aan de Universiteit van Amsterdam. Daarin werd geoordeeld dat Franse telecombedrijven de EU-wetgeving hadden geschonden door klantgegevens te bewaren op grond van de nationale veiligheid. ‘Het EU-hof stelde dat particuliere bedrijven die betrokken zijn bij nationale veiligheidsactiviteiten niet zijn vrijgesteld en nog steeds onderworpen zijn aan EU-wetgeving. De vrijstelling in het kader van de nationale veiligheid moet zeer restrictief worden geïnterpreteerd, en de lidstaat moet dat echt rechtvaardigen’, aldus Vogiatzoglou.

De geheime lobbypraktijken van Frankrijk tijdens vergaderingen van de EU-Raad weerspiegelen de openlijke druk die het uitoefende om de technologieën te kunnen gebruiken. In mei 2023 keurde het Franse Grondwettelijk Hof het gebruik goed van AI-gestuurde videobewaking tijdens de Olympische Spelen in Parijs. Die stap was de eerste in zijn soort binnen de EU en werd door Amnesty International beschreven als ‘een ernstige bedreiging voor burgerlijke vrijheden en democratische principes’. Nu zouden dergelijke methoden in de hele EU kunnen worden toegepast.

Biometrische identificatie

De definitieve AI Act, die voor het eerst werd voorgesteld door de Europese Commissie in april 2021 en vanaf het begin fel werd bevochten, zit vol met uitzonderingen.

Het gebruik van emotieherkenningssystemen — technologieën die de stemming of gevoelens van mensen interpreteren — is vanaf 2 februari verboden op de werkplek, scholen en universiteiten. Bedrijven mogen klanten bijvoorbeeld niet meer volgen in winkels om koopintenties te analyseren, en werkgevers mogen de systemen niet gebruiken om te beoordelen of werknemers gelukkig zijn of geneigd zijn te vertrekken.

Maar mede dankzij het lobbywerk van Frankrijk en andere lidstaten, mogen deze systemen wel worden ingezet door alle politiediensten, immigratie- en grensautoriteiten. Het is nog steeds onduidelijk of de systemen ook mogen worden gebruikt door recruiters, bijvoorbeeld door bedrijven om sollicitanten te beoordelen.

Tijdens een Coreper-vergadering op 29 november 2023 zei de Deense ambassadeur dat elk verbod ‘proportioneel moet zijn en alleen mag worden toegepast als er een risico op discriminatie is.’ Nederland, Portugal en Slowakije namen een soortgelijk standpunt in tijdens die bijeenkomst, waarbij allen ‘over het algemeen kritisch’ stonden tegenover het uitbreiden van verboden naar wetshandhavingsinstanties.

En dan zijn er de biometrische identificatiesystemen die worden gebruikt om ras, politieke opvattingen, religie of seksuele geaardheid vast te stellen – of zelfs of iemand lid is van een vakbond. Die zijn verboden door de wet, maar ook hier is er een uitzondering. De politie mag de systemen vrij gebruiken en beeldgegevens van iedereen verzamelen, of gegevens kopen van particuliere bedrijven.

Ook hier speelde Frankrijk een leidende rol. Tijdens een Coreper-vergadering op 24 november 2023 zei de Franse ambassadeur dat het ‘erg belangrijk is om de mogelijkheid te behouden om een persoon te zoeken […] die een religieuze overtuiging of politieke mening uitdrukt, zoals het dragen van een badge of accessoire, wanneer die persoon betrokken is bij gewelddadig extremisme of een terroristisch risico vormt.’

Asielzoekers

Bovendien kan gezichtsherkenningssoftware in realtime worden gebruikt als dat ‘strikt noodzakelijk’ is voor wetshandhaving. Ze kan door de politie worden ingezet bij het onderzoeken van 16 specifieke misdrijven, waaronder een algemene verwijzing naar ‘milieumisdrijven’. Verschillende lidstaten wilden tientallen andere misdrijven aan de lijst toevoegen. Uit notulen van de Coreper-vergadering eind november 2023 blijkt dat Frankrijk, samen met de ambassadeurs van Italië, Cyprus, Estland, Letland, Bulgarije en Hongarije, pleitte voor een uitbreiding van het toepassingsgebied.

Griekenland, een land dat de afgelopen jaren in de frontlinie stond van migrantenstromen naar Europa, was ook voorstander. Tijdens dezelfde vergadering eiste de Griekse ambassadeur ‘een expliciete uitsluiting’ van enig verbod voor gevangenissen en grenszones , waarbij werd gelobbyd voor autoriteiten om realtime biometrische analyses in openbare ruimtes te kunnen uitvoeren bij burgers, vluchtelingen en asielzoekers.

Biometrische systemen zouden nu kunnen worden ingezet om miljoenen gezichten te surveilleren en te vergelijken met nationale databases om individuen te identificeren. Het gebruik van de technologie in openbare ruimtes ‘betekent het einde van anonimiteit op die plaatsen’, waarschuwde het European Digital Rights Network al in 2020.

Maatschappelijke organisaties en ngo’s waarschuwen al langer voor de mogelijke schadelijke gevolgen van de wet, die wordt ingevoerd in de nasleep van het Pegasus-spionageschandaal en onthullingen over discriminerende algoritmes voor sociale voorzieningen die in verschillende Europese landen zijn gebruikt.

“We leven in een klimaat waarin onze regeringen ijveren voor steeds meer middelen, wetten en technologieën om de surveillance, controle en bestraffing van gewone mensen te vergemakkelijken’, zei Sarah Chander van Equinox. ‘En we bewegen steeds verder weg van een toekomst waarin middelen in plaats daarvan worden besteed aan sociale voorzieningen en bescherming.’

Misdaad voorspellen

Een andere vrijstelling op het algemene verbod betreft predictive policing — waarbij politiediensten algoritmes gebruiken om te voorspellen wie een misdaad zal plegen. Spanje, dat het voorzitterschap van de Europese Raad bekleedde toen de onderhandelingen eind 2023 op hun einde liepen, gebruikt al zulke voorspellende politie-algoritmes. Het is het enige EU-land dat het gebruik ook toegeeft, naast Nederland.

‘Predictive policing is een belangrijk hulpmiddel voor het effectieve werk van wetshandhavers’ zei de Spaanse ambassadeur tijdens een Coreper-bijeenkomst in oktober 2023. Tijdens een vergadering een maand later herhaalden Ierland, Tsjechië en Finland soortgelijke standpunten en pleitten ze tegen een volledig verbod op voorspellende politietechnologie. In de definitieve tekst mogen die systemen worden gebruikt, zolang er menselijk toezicht op de technologie is.

Toen het laatste overleg tussen de Raad, het Parlement en de Commissie begon op 6 december 2023, wilde het Spaanse voorzitterschap de tekst afronden vóór de Europese verkiezingen en de verwachte opkomst van extreemrechtse partijen. En vóórdat het Hongarije van Viktor Orbán het voorzitterschap zes maanden later zou overnemen. Onderhandelaars zaten anderhalve dag opgesloten in een kamer, herinnerde een anonieme ambtenaar die bij de besprekingen aanwezig was zich. ‘We waren uitgeput, en pas na een nacht onderhandelen begonnen we om 6 uur ’s ochtends over de verboden te praten’, zei hij. ‘[Uiteindelijk] bereikten we dat elk product zou worden goedgekeurd door een onafhankelijke nationale autoriteit.’

En zo zal voor het gebruik van zogenoemde hoogrisicotechnologieën een rechterlijke toestemming nodig zijn, alsook de registratie in een Europese database en een effectbeoordeling met betrekking tot de fundamentele rechten.

Maar zelfs hier hoort een kanttekening bij. Er werd een artikel toegevoegd dat bedrijven toestaat zelf te bepalen of hun product ‘hoog risico’ is of niet, waardoor ze mogelijk vrijgesteld worden van bepaalde verplichtingen. Een intern werkdocument van de juridische dienst van het Europees Parlement, waar Investigate Europe de hand op kon leggen, stelde vragen bij die beslissing. ‘Een hoog niveau van subjectiviteit dat wordt overgelaten aan bedrijven lijkt in strijd te zijn met het algemene doel van de AI Act, om de mogelijk schadelijke gevolgen van hoogrisico-AI-systemen tegen te gaan.’

De noodzaak om zakelijke belangen tevreden te houden, baart sommige lidstaten zorgen, met name Frankrijk, dat de thuisbasis is van een aantal toonaangevende bedrijven, waaronder Mistral AI. Tijdens een Coreper-vergadering op 15 november 2023 waarschuwde de Franse delegatie dat, als ruimer gebruik van de technologieën niet werd toegestaan, ‘er een risico was dat bedrijven hun activiteiten zouden verplaatsen naar regio’s waar fundamentele rechten geen rol spelen.’

Kwetsbare groepen

Alleen de tijd zal uitwijzen hoe de AI Act wordt geïmplementeerd. Anton Ekker, een Nederlandse advocaat gespecialiseerd in digitale rechten, gelooft dat de vrijstellingen in de praktijk weinig impact zullen hebben. ‘Ik ben zeer kritisch over het gebruik van algoritmen door een staat. Maar het is niet omdat er uitzonderingen zijn dat alles is toegestaan,’ zei hij. ‘Er zijn veel nationale, constitutionele wetten die fundamentele rechten beschermen.’

Professor Rosamunde van Brakel, die doceert over de juridische, ethische en sociale aspecten van AI aan de Vrije Universiteit Brussel, zegt echter dat nationale controlemechanismen weinig soelaas zullen bieden aan wie slachtoffer wordt van de nieuwe technologieën. ‘In de meeste gevallen komt regulering en toezicht pas in beeld nadat de schending heeft plaatsgevonden; ze beschermen ons niet van tevoren’, zei ze. ‘Bovendien hebben AI-toepassingen die in de publieke sector worden gebruikt vaak impact op kwetsbare bevolkingsgroepen, die niet in staat zijn om een klacht in te dienen of erop kunnen vertrouwen dat een klacht serieus zal worden genomen.’