Kunstmatige intelligentie zou ervoor zorgen dat er tijdens oorlogen minder burgerdoden vallen. In realiteit vallen er juist meer. Ook in Gaza.
Door Linde Arentze, Lauren Gould en Marijn Hoijtink
Op 23 oktober 2023 verloor de elfjarige Dareen haar vader, moeder, broer, oma, opa en 65 andere familieleden door een Israëlisch bombardement in Gaza. In een interview met de nos vertelt ze dat haar familie bijeen was gekomen in haar ouderlijk huis toen ze werden gebombardeerd. Dareen en haar broertje overleefden als enigen het bombardement.
Hoewel we het nooit zeker zullen weten, is de kans aanwezig dat het huis van Dareen en haar familie niet door een mens, maar door een AI-gedreven systeem als doelwit werd geïdentificeerd. Volgens recente onthullingen door een groep Palestijns-Israëlische journalisten in +972 Magazine en Local Call maakt het Israëlische leger namelijk op grote schaal gebruik van algoritmen en artificiële intelligentie (AI) om potentiële doelwitten te identificeren. De journalisten beschrijven op basis van interviews met betrokkenen binnen het Israëlische Defensieleger (idf) drie van zulke AI-systemen, genaamd Lavendel, Evangelie en Where’s Daddy?
Op basis van grote hoeveelheden data voorspelt Lavendel welke personen er bij de militaire tak van Hamas horen, identificeert Evangelie de gebouwen waar deze mensen wonen en werken, en berekent Where’s Daddy? vervolgens wanneer deze persoon thuis komt, zodat die daar kan worden aangevallen. Volgens Israëlische bronnen selecteerden deze AI-systemen samen meer dan 37.000 Palestijnen als mogelijk doelwit.
Met behulp van AI kan het idf nu dagelijks honderd gebouwen identificeren, terwijl het vóór deze oorlog om vijftig doelwitten per jaar ging. Militaire gebruikers krijgen daarbij naar verluidt slechts twintig seconden de tijd om te controleren of een voorgesteld doelwit legitiem is. Dit roept grote twijfels op over de mate waarin militairen nog in staat zijn de beslissingen van deze AI-systemen te begrijpen en kritisch te controleren.
Datapunten
Daarmee leidt het gebruik van AI tot een enorme toename van het aantal luchtaanvallen en draagt het bij aan de verwoesting en menselijke tol in Gaza. De realiteit in Gaza weerlegt het veelgehoorde argument van defensiespecialisten dat AI een rol kan spelen in het beperken van burgerslachtoffers.
De werkelijkheid is een andere: het gebruik van AI leidt niet tot ‘schone’ en ‘precieze’ oorlogen met een beperkt aantal burgerslachtoffers, maar zorgt er juist voor dat er op veel grotere schaal kan worden aangevallen doordat de technologie veel meer en veel sneller doelwitten genereert dan mensen kunnen. Met veel meer target-profielen en onder grote politieke en militaire druk om snel te reageren, hebben de betrokken militairen weinig tot geen zicht op – en controle over – de antwoorden en suggesties die AI genereert.
AI-systemen selecteerden meer dan 37.000 Palestijnen als mogelijk doelwit.
Dit leidt tot meer en ook nieuwe vormen van geweld en burgerleed, waarbij mensen tot ‘datapunten’ worden gereduceerd en op basis van probabilistische modellen kunnen worden gedood.
Tegelijkertijd hebben mensen de onbewuste neiging om antwoorden en aanbevelingen die een computer genereert als objectief en correct te beschouwen. Zo wordt de verantwoordelijkheid voor burgerleed van de mens naar de technologie gedelegeerd.
In een context waarin militairen toch al steeds afhankelijker worden van de data, algoritmen en platformen van technologiebedrijven, leidt dit tot een verdere verwatering van verantwoordelijkheid en aansprakelijkheid in militaire operaties. Zonder voldoende democratische controle zal dit het oorlogsgeweld verder opdrijven met meer burgerslachtoffers tot gevolg.
Risicovrije oorlog
De laatste jaren gaan investeringen in AI, onbemande systemen en datagedreven oorlogsvoering gepaard met een algemene afname van het aantal soldaten dat zich aan de frontlinie bevindt. Deze beweging wordt gedreven door de politieke noodzaak voor democratieën om een ‘risicovrije’ oorlog te voeren en het aantal slachtoffers in de eigen gelederen te beperken.
Daarbij leunen legers steeds zwaarder op wijdverspreide surveillance en data van onder andere dronecamera’s, satellietbeelden, telefoons en beveiligingscamera’s om kennis over het slagveld te vergaren. In de door Amerika geleide coalitieoorlogen in Irak, Afghanistan en Syrië vormden deze data de basis voor zogenaamde signature strikes.
Bij dit type aanval selecteren inlichtingenofficieren doelwitten niet op basis van de identiteit van een persoon, maar kijken ze naar verdachte gedragspatronen die ze in de metadata van bijvoorbeeld telefoonverkeer herkennen. Ondanks de claims van precisie leidden deze signature strikes tot grote aantallen misidentificaties en burgerslachtoffers. Zo zegt een Amerikaanse dronevlieger over zijn werk in Jemen het volgende: ‘Eigenlijk vuren we alleen op een mobiele telefoon’, in de hoop daarmee de tegenstander te raken. ‘[Maar] als de bom valt, weet je alleen dat de telefoon geraakt is – niet wie hem vast had.’
Voor militairen zelf resulteerde deze data-explosie in een veel banaler probleem. Er werd nu zoveel informatie vergaard, dat analisten ‘zwommen in sensoren en verdronken in data’ en men op zoek moest naar nieuwe data-analysemethoden om die gegevens te kunnen blijven verwerken en gebruiken.
AI wordt aangedragen als oplossing voor dit probleem. De commerciële wereld leert ons dat je met algoritmen en machine learning grote hoeveelheden data kunt verwerken tot bruikbare informatie. De afgelopen jaren zochten overheden wereldwijd – met Amerika en China voorop – daarom gretig naar nieuwe samenwerkingen met de technologiesector. Diezelfde sector profiteert ondertussen volop van de AI-boom, in combinatie met de recente toename in defensie-uitgaven.
Uit onderzoek van de Amerikaanse non-profitorganisatie Tech Inquiry blijkt bijvoorbeeld dat de vijf grootste defensiecontracten in Amerika in de afgelopen jaren naar tech-giganten Google, Microsoft en Amazon gingen. Daarnaast sloten Google en Amazon in 2021 een omvangrijk contract met de Israëlische overheid voor de levering van AI- en clouddiensten. Dit zogeheten Project Nimbus kwam de afgelopen maanden onder vuur te liggen, omdat het de digitale omgeving biedt voor de uitrol van gezichtsherkenningstechnologie, ‘sentimentanalyse’ en objecttracking door de Israëlische autoriteiten.
Naast een groeiende rol voor Big Tech-bedrijven zien we ook dat veel andere commerciële bedrijven in de oorlogsindustrie stappen. Neem het Amerikaanse bedrijf Palantir, in 2003 opgericht door PayPal-miljardair en durfkapitalist Peter Thiel, dat zich specialiseert in software voor dataverzameling voor politie en grensbewaking, maar ook voor defensie.
Deze nieuwe partnerschappen tussen defensie, de traditionele wapenindustrie en de technologiesector drijven de investeringen in militaire toepassingen van AI steeds verder op.
Proeftuin
Ondertussen vormen de frontlinies in Oekraïne en Gaza voor veel overheden en bedrijven een proeftuin waarin ze hun nieuwe technologieën kunnen testen. Dit geldt voor de Amerikanen die Oekraïne openlijk beschrijven als een ‘laboratorium’ voor de ontwikkeling van militaire AI en andere moderne wapens.
Eén cruciale toepassing van AI waar nu volop mee wordt geëxperimenteerd, heeft betrekking op het automatiseren van de selectie van nieuwe doelwitten. Lavendel, Evangelie en Where’s Daddy? vallen onder die categorie, maar dit soort systemen beperken zich niet tot Israël of de huidige oorlog in Gaza. Zo experimenteren de Amerikanen onder de naam Project Maven al sinds 2017 met AI-gedreven doelwitselectie in Jemen, Syrië, Irak en meer recentelijk ook in Oekraïne.
Tientallen kritische medewerkers bij Google zijn al ontslagen.
Deze AI-gestuurde systemen werken op basis van waarschijnlijkheid en correlatie. In Gaza zijn ze getraind om kenmerken te herkennen waarvan wordt aangenomen dat ze representatief zijn voor mensen die banden hebben met de militaire tak van Hamas. Het gaat dan bijvoorbeeld om lidmaatschap van dezelfde WhatsApp-groep als een bekende Hamas-militant, of het regelmatig veranderen van mobiele telefoon of adres.
Vervolgens analyseren de systemen de datagegevens van de 2,3 miljoen inwoners van Gaza die Israël al jaren op grote schaal verzamelt. Op basis van de vooraf bepaalde kenmerken voorspellen ze de waarschijnlijkheid dat een persoon lid is van Hamas (Lavendel), waar die woont of werkt (Evangelie) en of die aanwezig is op dat adres (Where’s Daddy?).
Beslissingsruimte
Hoewel in dit geval de keuze om een doelwit aan te vallen nog steeds bij een menselijke gebruiker ligt, is de beslissingsruimte zeer beperkt. De inlichtingenofficieren die Evangelie gebruiken, verklaarden hoe het AI-systeem hen hielp om van ‘vijftig doelwitten per jaar’ naar ‘honderd doelwitten per dag’ te gaan – en dat Lavendel in totaal meer dan ‘37.000 mensen als mogelijk doelwit identificeerde’.
Ze reflecteerden ook op hoe het gebruik van AI hun eigen aandeel in de besluitvorming sterk reduceerde: ‘In dit stadium investeerde ik in elk doelwit twintig seconden. (…) Ik had als mens geen enkele toegevoegde waarde (…). Het bespaarde veel tijd.’
Op deze manier leidt AI niet alleen tot de automatisering van doelwitselectie, maar ook tot een systematisering van kritieke beslissingen over leven en dood, zonder betekenisvolle menselijke controle. In tegenstelling tot wat voorstanders van AI-gedreven ‘precisie’-optreden vaak beweren, toont de oorlog in Gaza aan dat deze systematisering tot meer burgerdoden en meer burgerschade leidt.
De verantwoordelijkheid voor burgerleed wordt van de mens naar de technologie gedelegeerd.
Burgerleed
Bijna dagelijks berichten onze media over burgerdoden in Gaza. Binnen een maand na de start van de oorlog vielen er 10.022 doden, binnen drie maanden 23.469, en na zes maanden ging het om een onvoorstelbaar aantal van 33.207 slachtoffers. Deskundigen spreken inmiddels over een van de meest dodelijke en meedogenloze conflicten van de 21ste eeuw.
Maar hoe belangrijk focussen op aantallen burgerdoden in verslaggeving ook is, het heeft een keerzijde. Cijfers objectiveren slachtoffers tot op zekere hoogte op dezelfde wijze als AI-gestuurde selectie- en targetingprocessen dat doen. Mensenlevens worden gereduceerd tot iets wat gemeten, geteld en gecategoriseerd kan worden als nevenschade. Daarom is het tellen van burgerdoden slechts het begin van een verhaal over de impact van oorlog op burgers.
Een volledige analyse van de gevolgen van acht maanden AI-gedreven aanvallen in Gaza omvat de directe vormen van leed, zoals de 36.096 doden, 81.136 gewonden en de grootschalige verwoesting – inmiddels meer dan zestig procent – van alle woonhuizen. Maar het omvat ook indirectere vormen van leed, waaronder het feit dat 1,7 miljoen mensen op de vlucht zijn en moeten overleven zonder basisvoorzieningen als schoon drinkwater, voedsel, elektriciteit en medicijnen.
Met de uitrol van AI in conflictsituaties worden deze patronen van burgerleed in verstedelijkte gebieden op verschillende manieren versterkt. De Israëlische overheid vergaart al jaren data over de inwoners van Gaza en laat militairen daar het signature-strike-model op toepassen. De integratie van AI moet dit proces optimaliseren, maar de realiteit laat zien hoe onbetrouwbaar het gebruik van autonome gedragspatroonherkenning is en wat de gevolgen daarvan zijn in een complexe operationele context als Gaza. Zo zijn de patronen waarnaar het idf hun systemen in de data laat speuren zeer ruim gedefinieerd. In het geval van Lavendel lijkt een van de centrale regels zelfs ‘man staat gelijk aan militant’ te zijn.
Daarnaast passen mensen in oorlogstijd hun gedrag aan. Zo geven burgers na bombardementen hun telefoon door aan familieleden, en veranderen vluchtelingen regelmatig van adres. Dit zijn precies de gedragspatronen die in Lavendel en Evangelie als ‘verdacht’ worden geprogrammeerd. Als burgers niet al onterecht door deze systemen worden geselecteerd, vergroot hun vluchtgedrag als reactie op het geweld de kans dat dit alsnog gebeurt. Het oprekken van wie of wat als legitiem doelwit wordt gezien, in combinatie met de hoge snelheid waarmee de systemen opereren, draagt bij aan de enorme schaal van verwoesting in Gaza.
‘Ik investeerde in elk doelwit twintig seconden.’
Algoritmische oorlogsvoering leidt er bovendien toe dat burgers dag en nacht in een zekere ‘psychische gevangenschap’ verkeren, waarbij ze wel weten dat er op grote schaal data over hen worden verzameld, maar niet welk gedrag of fysiek kenmerk ze tot doelwit kan maken.
Veelvuldig wetenschappelijk onderzoek toont al jaren aan dat de integratie van AI-technologie in het veiligheidsdomein verre van feilloos is. Nu AI op grote schaal in oorlog wordt ingezet, zien we hoe problemen als mass surveillance, onnauwkeurigheid en bias direct van invloed zijn op de levens van burgers en hun lichamelijke integriteit.
Onrust bij Google
Terwijl burgerleed toeneemt en nieuwe vormen aanneemt, wordt het antwoord op de vraag wie daarvoor verantwoordelijk en aansprakelijk is steeds complexer.
Inlichtingenofficieren die met Lavendel hebben gewerkt, erkennen de beperkingen: ‘Je kunt niet voor honderd procent op het systeem vertrouwen, zeker niet als het gaat om het koppelen van telefoonnummers aan personen.’ Ook realiseren zij zich dat mensen in tijden van oorlog vaak van telefoon en adres veranderen. Toch baseren ze hun beslissingen grotendeels op deze systemen, met minimale menselijke controle. Inlichtingenofficieren binnen het IDF verschuilen zich achter de vermeende precisie en ‘statistische’ relevantie van de AI-systemen.
De Israëlische officieren die werden geïnterviewd, verwijzen naar een handmatige controle die het IDF aan het begin van de oorlog uitvoerde. Na twee weken zou het IDF in een steekproef honderden van de door het systeem gegenereerde doelwitten hebben geverifieerd, waarbij ze een foutmarge van ‘slechts’ tien procent vaststelden. Wij zetten grote vraagtekens bij de methode en betrouwbaarheid van deze verificatie, waarvan de details hoogstwaarschijnlijk voor altijd geheim zullen blijven.
De verificatie heeft echter een blijvende impact, want het stelt inlichtingenofficieren in staat fouten statistisch te benaderen: ‘Gezien de omvang was het protocol dat je, ook al weet je niet zeker of het systeem gelijk heeft, statistisch gezien wel goed zit. Dus ga je ermee akkoord’. In een realiteit van 37.000 gegenereerde doelwitten staat die houding gelijk aan de systematische acceptatie van 3.700 burgerslachtoffers.
In een officiële reactie ontkende een woordvoerder van het idf de berichtgeving over Lavendel, Evangelie en Where’s Daddy? met klem. Volgens de woordvoerder worden er weliswaar ‘informatiebeheertools’ ingezet om de inlichtingendiensten te ondersteunen bij het verzamelen en analyseren van informatie uit diverse bronnen, maar worden er geen AI-systemen gebruikt die specifiek gericht zijn op het identificeren van doelwitten.
Deze verklaring staat in schril contrast met andere, recentere berichtgeving van The Guardian. De Britse krant publiceerde een video waarin een hoge functionaris van de elite-inlichtingeneenheid 8200 van het idf vorig jaar sprak over het gebruik van machine-learning-algoritmen om terroristische doelen in Gaza te identificeren – wat hij beschreef als het ‘magische poeder’. The Guardian wist bovendien te bevestigen dat de commandant van diezelfde eenheid in 2021 onder een pseudoniem beschreef hoe dergelijke AI-technologieën de ‘menselijke bottleneck’ bij het selecteren en goedkeuren van doelwitten zouden wegnemen.
Buiten schot
De betrokken technologiebedrijven pareren de oplopende kritiek door te stellen dat zij geen invloed hebben op hoe eindgebruikers hun producten inzetten. ‘Eenmaal geleverd, kunnen we niet controleren wat de klant ermee doet. Alles is mogelijk’, aldus een Google-woordvoerder in reactie op vragen over Project Nimbus. Ondertussen groeit de onrust onder het Google-personeel en vreest een deel dat hun technologische innovaties ‘de systematische discriminatie en verdringing van de Palestijnen alleen maar wreder en dodelijker zal maken’. Tientallen medewerkers die zich daar eerder tegen uitspraken zijn ontslagen, terwijl anderen uit protest ontslag namen. Google zelf blijft buiten schot.
Zowel de ontwikkelaars van militaire AI als de legers die de systemen inzetten, kunnen zich niet langer verschuilen achter de vermeende technologische superioriteit, precisie en neutraliteit van de technologie. De toekomst van AI-oorlogsvoering ontvouwt zich op dit moment. En de manier waarop deze systemen nu worden ontworpen, ingezet én bekritiseerd, bepaalt de koers voor morgen.
Israëlisch-Palestijns conflict
Fout opgemerkt of meer nieuws? Meld het hier
