‘Moeten we ons zorgen maken over de juistheid van politieke peilingen?’

Geert Loosveldt (KU Leuven) pleit voor een evaluatie van de wijze waarop politieke peilingen worden uitgevoerd. Hij staat stil bij de kritiek die ook na deze verkiezingen de kop opsteekt, namelijk ‘dat de peilingen fout waren’.

Bij veel peilingen over diverse maatschappelijk thema’s die in de media aandacht krijgen (bv. over migratie- en pensioenbeleid)  is er geen echte reality check mogelijk omdat er geen vergelijking kan gemaakt worden met objectieve informatie. Het mooie aan politieke peilingen naar kiesintenties is dat dit wel kan door de peilingsresultaten te vergelijken met de verkiezingsresultaten. Een dergelijke reality check is doorgaans de aanleiding tot enige discussie over de juistheid en het nut van politieke peilingen.

Het was na de verkiezingen van zondag 9 juni niet anders. Het eerste wat daarbij opvalt is dat de vergelijking van peilings- en kiesresultaten op de dag van de verkiezingen zeer snel en op ‘zicht’ gebeurt en dat de evaluatie zeer algemeen is. Een veel gehoorde opmerking bij de duiding van de verkiezingsresultaten is dat ‘de peilingen fout waren’. 

Verwijzingen naar specifieke peilingen worden daarbij meestal niet gemaakt en er is ook weinig duidelijkheid op basis van wat men tot deze snelle conclusie komt. Een iets grondiger evaluatie van enkele politieke peilingen n.a.v. de verkiezingen van zondag 9 juni die in de media veel aandacht kregen lijkt wenselijk. 

In de week voorafgaand aan de verkiezingen was er veel aandacht in de media voor de ‘Laatste peiling’ naar de kiesintentie voor het federaal parlement voor Vlaanderen. Deze peiling werd uitgevoerd in opdracht van VTM en Het Laatste Nieuws. Wanneer de globale verdeling van de kiezingsintenties (met 7 partijen en de categorie andere) wordt vergeleken met het verkiezingsresultaat en bij deze vergelijking wordt gebruik gemaakt van een statistisch test dan is de conclusie duidelijk. Met de gebruikelijk betrouwbaarheid van 95% kan gesteld worden dat de peilingsresultaten voor de zeven partijen samen afwijken van het verkiezingsresultaat. De verschillen zijn dus, gegeven het betrouwbaarheidsniveau waarmee gewerkt wordt, significant.

Dit betekent dat ze groter zijn dan de verschillen die je op basis van het toeval mag verwachten. Wanneer we naar het verschil voor elk van de afzonderlijk partijen gaan kijken dan zien we dat enkel het verkiezingsresultaat voor CD&V en Groen in het 95% betrouwbaarheidsinterval valt en dus niet significant afwijkt van het peilingsresultaat.

Grootste verschillen

Voor de overige partijen kan gesteld worden dat de peilingsresultaten fout waren. De grootste verschillen zijn er voor N-VA en Vlaams Belang. Voor N-VA was er in de ‘Laatste Peiling’ een significante onderschatting, voor Vlaams Belang was er een significante overschatting. Een significante onderschatting van N-VA en de overschatting van Vlaams Belang zien we ook in een identieke peiling die in opdracht van dezelfde opdrachtgever (VTM/Laatste Nieuws) eind mei werd uitgevoerd. Maar in tegenstelling tot de ‘Laatste Peiling’ vallen de verkiezingsresultaten voor de overige partijen wel in het 95% betrouwbaarheidsinterval.

Globaal genomen is er ook voor de peilingen van mei een significant verschil met de verkiezingsresultaten, maar voor vijf van de zeven partijen is de ‘voorspelling’ correct. Men kan dus stellen dat de peiling van mei minder fout was.

Wanneer we tenslotte de vergelijking maken met ‘de Stemming’, een peiling die in januari 2024 werd uitgevoerd in opdracht van de VRT en De Standaard dan zien we ook hier een significante overschatting van Vlaams Belang en een onderschatting van N-VA. Vooruit, Open VLD en Groen werden in ‘de Stemming’ correct gepeild.

De algemene evaluatie en de vergelijking van de drie peilingen die de afgelopen maanden in de media heel wat aandacht hebben gekregen, ondersteunen de snel gemaakte conclusie op de avond van de verkiezingsdag dat de peilingen fout waren. Daarbij moet wel de nuance gemaakt worden dat de ene peiling al wat minder/meer fout was dan de andere. Op basis van objectieve statistische criteria (Chi-kwadraattest, betrouwbaarheidsintervallen, absolute verschillen) kunnen we stellen dat de peiling van mei het minst fout was.

Terugkerende fout

Het is ook belangrijk om op te merken dat de belangrijkste fout (onderschatting N-VA en overschatting Vlaams Belang) optreedt in de drie peilingen. Het is trouwens deze terugkerende fout die er voor heeft gezorgd dat de verkeerde overwinnaar werd voorspeld. Een fout met een grote impact bij de duiding van de verkiezingsresultaten en die zwaar doorweegt bij de evaluatie van politieke peilingen.

Bij de algemene evaluatie van de drie peilingen die in vorige paragraaf aan bod kwam veronderstellen we dat een significant verschil tussen een peilingsresultaat en een verkiezingsresultaat het gevolg is van een fout peilingsresultaat.

In de nabeschouwingen bij de verkiezingsresultaten waar verwezen werd naar het verschil met de peilingsresultaten werd soms opgemerkt dat peilingen een momentopname zijn en dat ze daarom kunnen verschillen van de verkiezingsuitslag. Een peiling is inderdaad een momentopname, maar dit is zeker geen voldoende verklaring voor de verschillen.

Een momentopname kan ook fout zijn. Dit blijkt uit het feit dat de peiling in mei juister was dan de peiling die in de week voor de verkiezingen werd uitgevoerd. Van de momentopname juist voor de verkiezingen kan men verwachten dat ze de verkiezingsuitslag zeer dicht zal benaderen. Dit was zoals in de vorige paragraaf werd geïllustreerd echter niet het geval, de peiling van mei was minder fout. Deze vaststelling dat de peiling in mei beter was dan de peiling net voor de verkiezing in juni illustreert ook de quote die de afgelopen jaren in de literatuur over het gebruik van niet-toevalsteekproeven regelmatig te lezen was: ‘Non-probability samples work, until they don’t’ (Niet-toevalsteekproeven werken, totdat dit niet meer het geval is).

Deze quote maakt ook duidelijk waar het schoentje wringt bij de drie politieke peilingen die werden besproken. Niet het feit dat de peilingen een momentopname zijn zorgen voor de verschillen tussen peilingen en verkiezingsresultaten, maar wel omdat er in deze peilingen gewerkt wordt met steekproeven uit panels die niet zijn samengesteld op basis van een toevallige selectie. Van deze steekproeven is de representativiteit niet gegarandeerd. 

Momentopnames

Moeten we ons veel zorgen maken over niet correcte politieke peilingen? Het zijn toch maar peilingen, wat maakt het uit. Net zoals bij andere peilingen mogen we verwachten dat de resultaten van peilingen die veel aandacht krijgen in de media op toevalsfouten na correct zijn. Het specifieke aan politieke peilingen is dat ze verwachtingen creëren die het kader vormen bij de evaluatie van de verkiezingsresultaten. Men wint of verliest verkiezingen als men het beter of slechter doet dan wat de peilingen hadden voorspeld.

Dit was met de verkiezingen van 9 juni zeker ook het geval. Om die reden alleen al moeten we ons zorgen maken over de juistheid van de resultaten van politieke peilingen die, of we dat nu willen of niet, mee het politieke debat bepalen. Indien niet verwacht wordt dat politieke peilingen correct zijn dan kan men zich de moeite besparen om ze uit te voeren en kan men zomaar verwachtingen creëren als onderdeel van een propagandacampagne.   

Politieke peilingen beschouwen als momentopnames en doen alsof er niets aan de hand is met peilingen die zelfs kort voor de verkiezingen niet in staat zijn om de verkiezingsresultaten te benaderen is geen optie en is enkel een garantie dat bij de volgende verkiezingen er gelijkaardige discussies over peilingen en verkiezingsresultaten zullen gevoerd worden.

Een evaluatie van de wijze waarop peilingen worden uitgevoerd en meer in het bijzonder over het tot stand komen van de panels waaruit de steekproeven worden getrokken is meer dan wenselijk. Het is ook duidelijk dat journalisten zich dringend moeten bezinnen over de wijze waarop ze rapporteren over peilingen en politieke peilingen in het bijzonder.

Een ding is zeker, we moeten zorgzaam omgaan met politieke peilingen die een wezenlijk deel uitmaken van een democratisch regime en die in vele landen niet mogen georganiseerd worden.

Geert Loosveldt is Professor emeritus met opdracht aan de KU Leuven, Centrum voor Sociologisch Onderzoek (CeSO).