‘Politieke peilingen: hoe scheiden we het kaf van het koren?’

In de aanloop naar de verkiezingen kunnen peilingen een beeld geven van wat de kiezers van plan zijn. Geert Loosveldt zet vijf aandachtspunten op een rij om de kwaliteit van een politieke peiling na te gaan.

2024 is in de media al uitgeroepen tot het grote wereldwijde en ook historische verkiezingsjaar. In eigen land zijn er verkiezingen voor alle beleidsniveaus (Vlaamse, federale, Europese, provinciale en gemeenteraadsverkiezingen). Ook in het buitenland staan er belangrijke verkiezingen op het programma (o.a. Presidentsverkiezingen in de VS en verkiezingen in een aantal Aziatische landen). In aanloop naar al deze verkiezingen zullen in de media ongetwijfeld heel wat resultaten van politieke peilingen worden gepresenteerd en becommentarieerd. (En na de verkiezingen is er een debat over de juistheid van de peilingen).

Het is dan ook relevant om na te gaan welke vragen men kan stellen om bij politieke peilingen het kaf van het koren te scheiden.

Op basis van politieke peilingen waarbij men een beperkte groep van personen (steekproef) bevraagt, doet men o.a. uitspraken over hoeveel % van alle kiesgerechtigden er de intentie heeft om voor een bepaalde politieke partij te stemmen. Om dergelijke veralgemenende uitspraken te kunnen doen moeten de personen op toevallige wijze geselecteerd worden uit de kiezerslijsten of een andere betrouwbare lijst die alle kiesgerechtigden bevat. De toevallige selectie zorgt er immers voor dat dat de geselecteerde personen representatief zijn voor de volledige groep van stemgerechtigden. Representativiteit is een noodzakelijke voorwaarde om op basis van een steekproef uitspraken te kunnen doen over een ruimere populatie.

Politieke peilingen waarover in de media gerapporteerd wordt, selecteren meestal personen uit een beschikbaar panel. Een panel is een database met informatie over personen (o.a. leeftijd, geslacht, e-mailadres, …) die te kennen hebben gegeven dat ze bereid zijn om deel te nemen aan peilingen. De leden van een panel kunnen op diverse wijzen worden gerekruteerd. Ze kunnen op een toevallige wijze uit een beschikbare lijst worden geselecteerd en door de onderzoeker worden uitgenodigd om deel te nemen aan peilingen.

We spreken in dit geval van een op toeval gebaseerd panel. In politieke peilingen maakt men echter meestal gebruik van panels die bij de samenstelling ervan geen gebruik hebben gemaakt van een toevallige selectie van personen. De personen die deel uitmaken van een panel dat niet op het toeval gebaseerd is kunnen op diverse wijze in het panel terecht gekomen zijn (o.a. op basis van uitnodigingen op websites, deelname aan vroeger onderzoek, …). Kenmerkend is wel dat de onderzoeker geen controle heeft over de selectie (en hierdoor kan de kans dat een persoon geselecteerd wordt niet worden bepaald).

Personen worden lid van een panel door zelfselectie. Dit kan een bijkomend ernstig probleem opleveren voor de samenstelling van het panel. Het is immers niet uitgesloten dat men vanuit bepaalde groepen (bv. politieke partijen, belangengroepen, …) zijn leden aanmoedigt om zich te registeren voor bepaalde panels die gebruikt worden bij politieke peilingen. Op die wijze kan men de resultaten van een peiling proberen te beïnvloeden. Politieke peilingen die gebruik maken van panels die niet zijn samengesteld op basis van een toevallige selectie van personen en geen controle hebben over het zelfselectie mechanisme kunnen niet garanderen dat de resultaten representatief zijn.

Samengevat, media moeten dus klaar en duidelijk aangeven of de selectie van personen al of niet toevallig is gebeurd en hoe er werd gecontroleerd voor bepaalde risico’s van de zelfselectieprocedure. Indien de selectie niet steunt op een toevalsprocedure zijn er geen betrouwbare uitspraken mogelijk en moet er gewezen worden op het risico dat de resultaten van de peilingen (sterk) kunnen afwijken van de reële situatie in de populatie. Een ander optie is om de resultaten van de peiling niet te publiceren.

Het is belangrijk om te weten hoeveel personen er effectief hebben meegewerkt aan een peiling omdat dit aantal de precisie van de resultaten bepaalt. Hoe groter het aantal personen hoe preciezer de resultaten. Het is intuïtief duidelijk dat een peiling waaraan 500 personen hebben meegewerkt minder precisie is dan een peiling met 1000 deelnemers. De definitie van precisie is hierbij wel erg belangrijk. Precisie betekent de mate waarin men dezelfde resultaten bekomt wanneer men de peiling onder dezelfde omstandigheden zou herhalen.

Een precies resultaat betekent niet dat het resultaat correct is. Zo kan men met een peiling vaststellen dat bv 15% de intentie heeft om op partij A te stemmen. Indien men de peiling in dezelfde omstandigheden een aantal keren zou herhalen dan betekent een precies resultaat dat men telkens een percentage in de buurt van 15% zou bekomen. Indien bepaalde groepen die normaal voor partij A zouden stemmen echter telkens ondervertegenwoordigd zijn bij de bevraagden, dan zal dit precies resultaat systematisch afwijken van het correcte resultaat.

Samengevat, het is belangrijk om te weten hoeveel personen er hebben meegewerkt aan de peiling om de precisie van de resultaten te kunnen beoordelen maar een groot aantal deelnemers impliceert niet dat de resultaten correct zijn.

(Lees verder onder de preview.)

Niet iedereen die geselecteerd wordt om deel te nemen aan een politieke peiling kan gecontacteerd worden of is bereid of in staat om mee te werken. We spreken van non-respons. Meestal wordt de non-respons uitgedrukt als een percentage van de totale groep van geselecteerde personen. Wanneer bv. 45% van de geselecteerden niet deelneemt dan bedraagt de non-response rate 45% en is de response rate bijgevolg 55%.

Algemeen kan gesteld worden dat de bereidheid om mee te werken aan peilingen een dalende trend vertoont. Response rates van 40% en lager zijn zeker geen uitzondering. Een lage respons rate is echter niet noodzakelijk een probleem en leert ons weinig over de kwaliteit van de peiling. Als het niet meewerken het gevolg is van allerhande toevalligheden dan zullen de deelnemers niet verschillen van diegene die hebben meegewerkt en zal dit toevalsproces geen impact hebben op de representativiteit. Wel wordt het aantal deelnemers kleiner en daalt bijgevolg de precisie van de resultaten (zie vraag 2).

In geval er gewerkt wordt met een panel dat is samengesteld op basis van zelfselectie kan er geen correcte (non-)response rate worden berekend. Het is immers niet mogelijk om de omvang te bepalen van de groep die de uitnodiging heeft gezien en er niet is op ingegaan. Soms worden er wel (non-)response rates vermeld maar dan gaat het om (non-)response rates die berekend worden op het aantal panelleden dat werd uitgenodigd om deel te nemen. Het gaat dus om de (non-) repons bij panelleden die bij het toetreden tot het panel te kennen hebben gegeven dat ze bereid zijn om mee te werken aan peilingen.

Dit levert kunstmatig hoge respons rates op omdat de non-respons die bij de samenstelling van het panel werd bekomen daarbij niet in rekening wordt gebracht. Ook dit maakt het bijzonder moeilijk om de kwaliteit te evalueren van de resultaten van peilingen die gebruik maken van een panel dat tot stand gekomen is door zelfselectie.

Samengevat, het is gebruikelijk en ook wenselijk om informatie over de (non)-response rate te vermelden bij de rapportering van peilingsresultaten. Dergelijk informatie is echter niet bijzonder nuttige om de kwaliteit van de peiling te beoordelen. Er moet ook duidelijk worden aangegeven hoe de (non-)response rate wordt berekend. Een non-response rate die geen rekening houdt met de initiële (non) response bij de samenstelling van het panel, is bijzonder misleidend.

Om de impact van de non-respons te kunnen inschatten moet worden nagegaan of er systematische verschillen zijn tussen de groep van de deelnemers en de non-respons groep. Daarbij moeten beide groepen vergeleken worden op aantal kenmerken waarvan men kan veronderstellen dat ze gerelateerd zijn aan de kiesintentie (bv. opleidingsniveau). Indien er geen informatie beschikbaar is voor de groep die niet meewerkte kan men de vergelijking ook maken met beschikbare statistieken over de volledige populatie. Door de vergelijking te maken kan men systematische en relevante afwijkingen tussen de respons en de non-respons groep op het spoor komen. Zo kan men bijvoorbeeld vaststellen dat jongeren ondervertegenwoordigd zijn. Als de kiesintenties van jongeren verschilt van de oudere leeftijdscategorieën dan zullen de peilingsresultaten m.b.t de kiesintenties niet correct zijn.

Om problemen van onder- of oververtegenwoordiging op te lossen maakt men doorgaans gebruik van een weegprocedure. Daarbij gaat men een groep die ondervertegenwoordigd is (bv. de jongeren) een groter gewicht toekennen in de analyse van de data. Het toepassen van een weegprocedure is zeker niet altijd een oplossing voor representativiteitsproblemen. Zo is er bijvoorbeeld geen garantie dat de ondervertegenwoordigde groep jongeren die hebben meegewerkt aan de peiling representatief is voor de volledige groep van jongeren. Een weegprocedure lost dit probleem niet op.

Samengevat, informatie over de eventuele onder- of oververtegenwoordiging van bepaalde groepen is noodzakelijk om de kwaliteit van een peiling te kunnen beoordelingen. Het toepassen van een weegprocedure is geen garantie dat problemen m.b.t. de representativiteit zijn geremedieerd. Er wordt dan ook te vlug geconcludeerd dat een steekproef die werd gewogen ook representatief is.

(Lees verder onder de preview.)

De algemene regel bij het opstellen van een vragenlijst is eenvoudig: de formulering van de vragen moet eenvoudig moet zijn en de vragen mogen niet op verschillende wijzen geïnterpreteerd kunnen worden. De traditionele vraag naar kiesintentie luidt als volgt : ‘Indien er volgende zondag federale verkiezingen worden gehouden, voor welke partij zou u dan stemmen’.

Als we veronderstellen dat iedereen weet wat er bedoeld wordt met ‘federale verkiezingen’ en het onderscheid kan maken met de ‘andere’ verkiezingen dan voldoet die vraag aan de algemene regel. Een alternatieve formulering van de vraag naar kiesintentie is, “Als het vandaag écht verkiezingen voor het nationale parlement zouden zijn en u dus een keuze zou moeten maken, op welke van de volgende partijen zou u dan stemmen?’ In deze formulering wordt ‘federale verkiezingen’ vervangen door een meer eenvoudige omschrijving, ‘verkiezingen voor het nationale parlement’. Waardoor deze laatste vraag meer geschikt lijkt om de kiesintentie te bevragen.

Men kan zich daarbij de vraag stellen of een dergelijk (klein) verschil een effect kan hebben op de resultaten. Om dit te weten zou men de resultaten van beide vragen moeten vergelijken in een experimenteel design. Algemeen kunnen we op basis van experimenteel onderzoek naar het effect van de wijze waarop vragen geformuleerd worden, stellen dat kleine verschillen in de formulering van vragen een effect kunnen hebben op de antwoorden.

Wat we ook weten is dat de volgorde waarop de vragen wordt gesteld een invloed kan hebben op de antwoorden. Zo is het niet onwaarschijnlijk dat het antwoord op de vraag naar de kiesintentie wordt beïnvloed door de vraag voor welke partij men bij de vorige verkiezingen heeft gestemd, wanneer die vraag er juist aan voorafgaat. De gevoeligheid van de antwoorden voor de formulering en de volgorde van de vragen maakt ook duidelijk dat wanneer men resultaten van peilingen gaat vergelijken met de resultaten van vorige peilingen men dit enkel kan doen wanneer de formulering, de volgorde en de context van de vragen niet is gewijzigd.

Samengevat, bij het beoordelen van de resultaten van peilingen is het belangrijk om na te gaan hoe de vragen werden geformuleerd en in welke volgorde ze werden gesteld. Dit is zeker het geval als men resultaten van peilingen gaat vergelijken om eventuele verschuivingen in kiesintentie te duiden. Het vergelijken van resultaten is enkel zinvol wanneer de formulering en de volgorde van de vragen hetzelfde zijn. Kleine verschillen kunnen immers het verschil maken.

Professor emeritus Geert Loosveldt is verbonden aan de KU Leuven, Centrum voor Sociologisch Onderzoek (CeSO).