Hoe kun je liegen met statistiek? Uitgerekend de journalist die schreef over de onbetrouwbaarheid van cijfers liet zich inhuren door de tabaksindustrie om twijfel te zaaien over de dodelijke gevolgen van roken. En werd daarmee een lichtend voorbeeld voor andere schadelijke industrieën die hun belangen proberen te beschermen.
Het was 1953 en de tabaksindustrie zat in de problemen. De aandelen van Philip Morris, U.S. Tobacco Company en andere fabrikanten kelderden plotseling in waarde. De aanleiding was een publicatie van kankeronderzoeker Ernest Wynder en collega’s, die teer uit sigaretten met een kameelharen borsteltje op de geschoren ruggetjes van witte muizen hadden gesmeerd.
De resultaten van dit onderzoek waren uiterst pijnlijk: 44 procent van de muizen in de testgroep had kanker gekregen, van de 81 muizen die met teer beschilderd waren was na twintig maanden nog maar 10 procent in leven.
Bij de niet-ingesmeerde controlegroep was geen enkel geval van kanker gevonden en 53 procent had na twintig maanden nog geleefd. The New York Times, Life en ook het enorm populaire Reader’s Digest hadden bezorgd over het onderzoek geschreven. Het laatste onder de lugubere kop ‘Kanker per pakje’.
De tabaksmagnaten konden de ophef niet langer negeren en kwamen in december 1953 bijeen onder de hoge plafonds van The Oak Room aan het New Yorkse Central Park. In dit gerenommeerde restaurant wilden ze een plan smeden om hun industrie te beschermen tegen kritische onderzoekers.
En wie kon ze daarbij beter helpen dan de man die bij hen aan tafel zat: John Hill. Hij was de CEO van Hill and Knowlton, een van de machtigste pr-bureaus van Amerika. Met hem wilden de tabaksmagnaten het publiek ervan overtuigen dat er geen wetenschappelijke basis was voor de beschuldigingen van Wynder en collega’s. Ze zouden laten zien dat al die zorgen over sigaretten nonsens waren.
De eerste stap was snel gezet. Op 4 januari 1954 traden de grote sigarettenfabrikanten naar buiten met de lancering van het Tobacco Industry Research Committee. Met een paginagrote advertentie in meer dan vierhonderd krantentitels verzekerden ze het publiek dat hun producten niet schadelijk waren. In de honderden jaren dat de mens plezier had beleefd aan tabak, schreven ze, hadden critici het de schuld gegeven van ‘zo goed als elke ziekte in het menselijk lichaam’.
Het was het begin van een samenzwering die bijna vijftig jaar zou duren en talloze levens zou kosten.
Telkens waren de beschuldigingen niet houdbaar gebleken wegens gebrek aan bewijs, aldus het comité. Maar dat er nu alleen al een verdenking bestond over het gevaar van tabak, stemde de fabrikanten uiteraard diep bezorgd, schreven ze. Met hun nieuwe samenwerking zouden ze bijdragen aan onderzoek naar ‘alle stadia van tabaksgebruik en gezondheid’.
Het was het begin van een samenzwering die bijna vijftig jaar zou duren en talloze levens zou kosten. Het Amerikaanse ministerie van Justitie zou later stellen dat de magnaten op die beruchte decemberdag hadden besloten om ‘het Amerikaanse volk te misleiden over de gezondheidsgevolgen van roken’.
Maar de tabaksindustrie stond niet alleen in die misleiding. Duizenden wetenschappers hielpen mee aan het bedrog.
Liegen met statistiek
In hetzelfde jaar dat de paginagrote advertentie van de tabaksindustrie verscheen, publiceerde journalist Darrell Huff How to Lie with Statistics.
Het is een van mijn lievelingsboeken over cijfers. Met veel humor schrijft Huff over fouten die nog altijd worden gemaakt, zoals niet-representatieve peilingen en misleidende grafieken. Hij schrijft ook uitgebreid over een andere klassieke fout: het door elkaar halen van correlatie en causaliteit. De vergissing dat, omdat er een verband bestaat tussen twee dingen, het een het ander automatisch ook veroorzaakt.
Zo kun je, laat Huff slim zien, een goede inschatting maken van het aantal baby’s in een huis door het aantal ooievaarsnesten op een dak te tellen. Met andere woorden: er is een verband tussen baby’s en ooievaars. Maar, spoiler alert, kinderen worden niet bezorgd door zwart-witte vogels.
Het verband tussen de twee (correlatie) betekent niet dat het een het ander ook veroorzaakt (causaliteit). Er kan heel goed sprake zijn van een andere factor die beide zaken beïnvloedt. ‘Grote huizen trekken grote, en potentieel grote, gezinnen aan’, schrijft Huff, ‘en grote huizen hebben meer schoorstenen waar ooievaars kunnen nestelen.’
Je hooikoortsklachten worden minder als je gin-tonics drinkt, je krijgt sneller een soa als je je schaamhaar wegscheert en pure chocolade is goed voor je hart.
Nergens zie je de causaliteitsfout zo vaak terugkomen als in gezondheidsnieuws. Je hooikoortsklachten worden minder als je gin-tonics drinkt, je krijgt sneller een soa als je je schaamhaar wegscheert en pure chocolade is goed voor je hart – het is slechts een greep uit de berichten die ons dagelijks overspoelen.
Vaak zijn zulke stellingen overdreven. Dit komt niet alleen door de media, die graag ronkende berichten verspreiden; het probleem begint vaak al bij de persafdelingen van de universiteiten, die het gezondheidsonderzoek onder de aandacht brengen. Vijf Nederlandse onderzoekers keken naar het gezondheidsnieuws uit 2015 en stelden vast: 20 procent van de academische persberichten overdreef de conclusie of causale claim. Vaak namen de media de overdrijving linea recta over.
Als je journalisten en wetenschappers niet meer blind kunt vertrouwen, hoe weet je dan als nieuwsconsument of je te maken hebt met onzin? Hoe weet je bijvoorbeeld of roken nu wel of niet longkanker veroorzaakt? Het boek How to Lie with Statistics geeft houvast. Daarin beschrijft Huff de drie soorten kulcausaliteit.
1. Het is toeval
Een kookboek. Dat was de bron die Jonathan Schoenfeld en John Ioannidis – allebei medicus – in 2013 gebruikten voor hun analyse van kankerstudies. Ze kozen willekeurig recepten uit The Boston Cooking-School Cook Book en noteerden de eerste vijftig ingrediënten die ze tegenkwamen. Met die lijst doken ze in PubMed, het archief van medisch onderzoek.
Hun eerste bevinding was al vrij wonderlijk: veertig van de vijftig ingrediënten bleken in een of meerdere onderzoeken aan kanker gerelateerd te zijn. ‘Is alles wat we eten verbonden aan kanker?’ vroegen de onderzoekers zich af.
Hun volgende conclusie was ronduit bizar. Vaak werd voor hetzelfde ingrediënt zowel een grotere als een kleinere kans op kanker gevonden. Concludeerde het ene onderzoek bijvoorbeeld dat wijn goed voor je was, dan was er een andere studie te vinden die stelde dat je het glas maar beter kon laten staan.
Schoenfeld en Ioannidis besloten hun onderzoek te beperken tot ingrediënten waar minstens tien studies over beschikbaar waren. Dat waren er twintig, en van die twintig ingrediënten vonden ze bij zeventien producten tegenstrijdigheden in de conclusies – van tomaten tot thee, van koffie tot rundvlees.
De resultaten konden niet allemaal tegelijk kloppen, maar hoe waren de onderzoekers van deze studies dan bij hun conclusie gekomen? Huffs eerste type kulcausaliteit geeft een mogelijke verklaring: het was toeval.
Het verhaal van een achtarmige waarzegger laat zien hoe het werkt met toeval en correlatie.
In 2010 voorspelde Paul de Octopus de uitslagen van acht WK-wedstrijden. Telkens weer opende hij met zijn tentakels het juiste bakje voedsel, het bakje met de vlag van het voetbalteam dat de volgende wedstrijd zou winnen. En telkens weer stonden kuddes journalisten in spanning te wachten op zijn voorspelling. Toen Nederland uiteindelijk de finale speelde tegen Spanje, zag Paul onze nederlaag al aankomen.
De octopus werd een beroemdheid: hij werd ereburger van het Spaanse stadje O Carballiño, was ambassadeur voor Engelands gooi naar de organisatie van het WK in 2018 en werd door de Iraanse president Mahmoud Ahmadinejad gezien als ‘symbool van alles wat er mis is in de westerse wereld’.
Maar wat als Paul gewoon mazzel had gehad? De kans dat hij puur toevallig acht wedstrijden juist voorspelde, is gelijk aan de kans dat je acht keer kop krijgt als je acht keer een muntje opgooit: één op 256, oftewel 0,4 procent. Een kleine kans, maar de kans dat je de Staatsloterij wint is – met één op de 4,4 miljoen -bijna 20.000 keer zo klein.
Het wordt nog minder spectaculair als je weet welke dieren nog meer in de race waren voor WK-waarzegger. Wat dacht je van Leon het Stekelvarken, Petty het Dwergnijlpaard en Anton de Tamarins? Ook zij voorspelden de WK-wedstrijden, maar hadden minder geluk dan collega Paul. Als je maar genoeg dieren laat voorspellen, zit er altijd wel eentje tussen dat het juist heeft.
Als je maar lang genoeg zoekt, kom je altijd wel een verband tegen.
Zo is het ook met correlaties. Als je maar lang genoeg zoekt, kom je altijd wel een verband tegen.
Niemand illustreerde dit beter dan analist Tyler Vigen. Hij werd beroemd door de gekke correlaties die hij publiceerde op zijn website Spurious Correlations. Zo vond hij dat het aantal doden per jaar door verdrinking in zwembaden verhoudingsgewijs bijna gelijk opliep met het aantal films met Nicolas Cage. En de trend in kaasconsumptie leek griezelig veel op die van het aantal mensen dat stierf door verstrikking in beddengoed.
Vigens correlaties zijn overduidelijk onzin, dat maakt ze zo geestig. Minder grappig: correlaties in gezondheidsonderzoek kunnen net zo goed door toeval zijn ontstaan.
2. Er ontbreekt een factor
De tweede kulcausaliteit: er ontbreekt een factor die zowel ‘oorzaak’ als ‘gevolg’ beïnvloedt.
Huff beschrijft in zijn boek een onderzoek naar roken en schoolcijfers. Rokers, zo bleek uit de studie, haalden minder goede resultaten. Moesten studenten dan maar stoppen met roken?
Onzin, vond Huff. Ook hier konden andere factoren meespelen die beïnvloedden dat iemand lagere cijfers haalde én dat iemand rookte. Misschien rookten socialere types vaker en zaten zij door hun sociale leven ook minder graag met hun neus in de studieboeken. Of lag het aan het verschil tussen introverte en extraverte studenten? ‘Het punt is’, schreef Huff, ‘dat als er veel redelijke verklaringen zijn, je niet het recht hebt om er eentje te kiezen die past bij je smaak en daarop te blijven aandringen.’
Dit was precies wat er in 2015 gebeurde bij een groot Nederlands onderzoek naar meer dan 37.000 borstkankerpatiënten. De onderzoekers concludeerden, volgens het persbericht dat was verspreid, dat vrouwen die een borstsparende behandeling hadden ondergaan vaker in leven bleven dan patiënten met een borstamputatie.
Het kon op veel media-aandacht rekenen en binnen de kortste tijd werd Borstkankervereniging Nederland overspoeld door vragen van bezorgde vrouwen. Was hun borstamputatie een vergissing geweest? Moesten ze niet alsnog bestraald worden? Op websites van ziekenhuizen verschenen al snel berichten om patiënten gerust te stellen, en de auteurs van de studie zouden later benadrukken dat ze inderdaad geen causaal verband hadden gevonden.
Want er waren een hoop andere factoren in het spel, factoren die verband hielden met zowel de keuze voor een bepaalde behandeling (‘oorzaak’) als de overlevingskans (gevolg). Als een patiënt bijvoorbeeld een andere ernstige aandoening had – denk aan hartfalen – dan werd vaker gekozen voor een amputatie. Bestraling, was het idee, zou te ingrijpend zijn bij een toch al zwak gestel. Dat die groep vaker stierf had in die gevallen niet met de operatie te maken, maar met de slechtere algemene gezondheid.
3. Het is (ook) andersom
De derde en laatste soort kulcausaliteit die Huff bespreekt: het verband is andersom. Als het regent zie je veel mensen met paraplu’s op straat. Kunnen we dan zeggen dat de paraplu’s de regen hebben veroorzaakt? Natuurlijk niet. Het is de regen die heeft geleid tot al die paraplu’s.
Maar oorzaak en gevolg zijn niet altijd zo duidelijk, laat Huff zien. Als een rijk iemand veel aandelen heeft, is hij dan rijk geworden door de aandelen? Of kon hij ze kopen doordat hij veel geld had? Het kan allebei waar zijn. De causaliteit kan zelfs allebei de kanten opgaan – iemand is rijk, koopt aandelen, wordt rijker, koopt meer aandelen, et cetera.
Hetzelfde geldt voor de’obesitasparadox’, de vondst dat mensen met overgewicht soms betere overlevingskansen hebben dan mensen met een ‘normaal’ gewicht. Verrassend, omdat je vaak juist hoort dat overgewicht ongezond is. Onderzoekers concludeerden dat het overgewicht een beschermende functie moest hebben die je langer in leven houdt.
Maar er werd een belangrijk feit over het hoofd gezien: als je ziek bent, val je af. Het lagere gewicht was dus niet per se de oorzaak van de slechte gezondheid, maar kon ook het gevolg zijn. Die conclusie werd bevestigd ineen studie uit 2015, waarin werd gecorrigeerd voor het gewichtsverlies.
Onthoud dus dat correlatie niet automatisch een causaal verband betekent, want er kan sprake zijn van toeval (kulcausaliteit 1), van een ontbrekende factor (kulcausaliteit 2) of van een omgekeerd verband (kulcausaliteit 3).
Hoe de tabaksindustrie statistiek gebruikte om te misleiden
Die lessen leerde ook de tabaksindustrie, die ze gebruikte om doelbewust twijfel te zaaien over de schadelijke gevolgen van roken.
Eén marketingtruc was misschien wel het meest doortrapt. Het was de list die werd bekokstoofd in The Oak Room in 1953 en die sindsdien miljoenen mensen om de tuin leidde. De list wordt het beste samengevat door John Burgard, marketingdirecteur voor een van de grote tabaksmerken, die – uiteraard in een vertrouwelijk document – schreef: ‘Twijfel is ons product.’
Het doel van de tabaksmagnaten was niet om aan te tonen dat roken gezond voor je is. Het was al genoeg als er twijfel bestond over de gevolgen van tabak.
Het doel van de tabaksmagnaten was niet om aan te tonen dat roken goed voor je is. Het was al genoeg als er twijfel bestond over de gevolgen van tabak. Sinds de bijeenkomst in The Oak Room zou het Tobacco Industry Research Committee, later het Council for Tobacco Research, alles op alles zetten om verwarring te zaaien over de conclusies van het wetenschappelijk onderzoek naar roken.
Pas in 1998 werd de club afgeschaft, na een juridisch akkoord tussen de tabaksindustrie en de procureur-generaals van 47 Amerikaanse staten. De tabaksindustrie had toen al honderden miljoenen uitgegeven aan gezondheidsonderzoek.
De onderzoeksbeurzen van de commissie gingen naar studies over ’tabak en gezondheid’, maar hadden daar in werkelijkheid zelden mee te maken. ‘Het doel was eigenlijk om op zo’n manier te zoeken dat je niets kon vinden’, schrijft historicus Robert Proctor, ‘en dan te stellen dat de vele miljoenen die waren besteed aan “roken en gezondheid” nooit enig bewijs van nadelen hadden blootgelegd.’
Hij vond dan ook honderden persberichten met het wetenschappelijke mantra ‘meer onderzoek is nodig’. Of, zoals een van de tabaksmerken stelde, ‘onderzoek moet door- en doorgaan’.
Niet alleen kon de tabaksindustrie zo suggereren dat ze de wetenschap wel degelijk serieus nam, het was ook goed voor haar imago dat ze beurzen gaf aan onderzoekers van keurige universiteiten zoals Stanford en Harvard. Tegelijkertijd kon ze een ‘stal aan experts’ opbouwen, met wetenschappers die ‘industrievriendelijke’ artikelen konden schrijven of konden getuigen voor de rechtbank als dat nodig was.
En zo komen we terug bij Darrell Huff. Hij mocht dan geen wetenschapper zijn, de schrijver van How to Lie with Statistics paste perfect in deze stal. Want wie kon er sappiger over cijfers praten dan meneer hoe-lieg-ik-met-statistiek zelf?
Op 22 maart 1965 verscheen hij voor het Amerikaanse Congres om een verklaring af te leggen in een hoorzitting over advertenties en verpakkingen van sigaretten.
Toeval, ontbrekende factoren en omgekeerde verbanden
Huffs verklaring voor het Congres was net zo ronkend als zijn boek.
Stuk voor stuk liep hij zijn bezwaren af tegen de onderzoeken naar roken. Hij zinspeelde erop dat de manier van registreren was veranderd, waardoor er een grote toename in longkanker leek te zijn ontstaan.
Ook zouden de steekproeven niet representatief en soms te klein zijn geweest. Daarbij mochten de conclusies van dierproeven niet zomaar worden overgenomen voor mensen. Hij dacht vast aan het gezaghebbende onderzoek van Wynder en collega’s, met het teer op de muizenruggetjes, toen hij zei: ‘Muizen zijn geen mensen.’
Zo bouwde hij zijn pleidooi op om bij zijn belangrijkste bezwaar uit te komen: ‘Als we, ondanks al deze moeilijkheden, accepteren dat er een verband bestaat tussen roken en gezondheid, moeten we een laatste en cruciale vraag stellen.’ Betekent de correlatie tussen roken en kanker automatisch dat er een causaal verband is?
Nee, stelde Huff, en hij begon te vertellen over de ooievaars en de baby’s.
Hij somde de drie soorten kulcausaliteit uit zijn boek op. Eerder in zijn verklaring had hij al gesteld dat de verschillen in kankergevallen tussen rokers en niet-rokers misschien ‘statistisch significant’ waren, dat kon net zo goed door het toeval komen.
Ook leek hij de mogelijkheid te suggereren dat het verband andersom was, toen hij zei: ‘Als Yale-afgestudeerden meer geld hebben dan de meesten van ons, komt dat dan doordat ze naar Yale zijn geweest? Of komt het doordat Yale over het algemeen jongens krijgt uit rijke families […]?’
Wanneer weet je genoeg?
Kunnen we cijfers maar beter naast ons neerleggen en ons in blauwe walmen hullen als de reclamebonzen in Mad Men, omdat we toch niet weten wat roken met ons doet?
De argumenten van Huff stoelden op de drie soorten kulcausaliteit. Er was een verband, maar dat verband was niet per se oorzakelijk. Als de fysieke conditie van vrouwen met een borstamputatie anders was dan die van vrouwen zonder, en er dus geen causaal verband is tussen (al dan niet) amputeren en de overlevingskans, waarom zou zo’n redenering dan niet ook opgaan voor rokers en niet-rokers?
Een oorzakelijk verband afbranden is gemakkelijk, het bewijzen is heel lastig.
Dit is de grote uitdaging waar de wetenschap voor staat: een oorzakelijk verband afbranden is gemakkelijk, het bewijzen is heel lastig.
Hoe weten we dan toch dat roken longkanker veroorzaakt? De argumenten van Huff sneden hout, maar alleen als je keek naar afzonderlijke studies. Eén studie, hoe goed uitgevoerd ook, is nooit voldoende om iets te bewijzen. Er is naar een bepaalde groep in een bepaald land op een bepaald moment gekeken en je kunt altijd nog zeggen dat het resultaat door toeval tot stand is gekomen.
Daarom is het ook zo problematisch als kranten schrijven dat iets door die ene nieuwe studie ‘wetenschappelijk bewezen’ is. En is het net zo onverstandig om bij de verkiezingen op één peiling te varen.
Wetenschap gaat niet over losse studies, maar over de verzameling van studies. En tegen de tijd dat Huff in 1965 in het Congres ondervraagd werd, was die verzameling enorm. De magistrale Duitse overzichtsstudie Tabak und Organismus uit 1939 was dan misschien vergeten, de bewijslast tegen sigaretten was overweldigend.
Op uiteenlopende manieren was aangetoond dat roken schadelijk was: epidemiologische studies hadden laten zien dat rokers vaker longkanker kregen; dieren kregen tumoren als ze ingesmeerd waren met teer; pathologen hadden op celniveau schadelijke gevolgen van roken gevonden; en er was aangetoond dat sigarettenrook chemische stoffen bevatte die kanker veroorzaakten.
Op een gegeven moment is het bewijs zo sterk dat als één studie een tegenovergestelde uitslag geeft, de conclusie toch overeind blijft.
Al die studies waren ook nog eens herhaald en telkens kwamen ze op hetzelfde uit. De studie van de Britten Doll en Bradford Hill uit 1952 bijvoorbeeld, was een paar jaar na publicatie meermaals herhaald door onderzoekers in Japan, de Verenigde Staten, Canada en Frankrijk, en steeds was de uitkomst: longkankerpatiënten zijn vaak rokers.
Op een gegeven moment is het bewijs zo sterk dat de conclusie toch overeind blijft als één studie een tegenovergestelde uitslag geeft.
Hetzelfde zie je bij het onderzoek naar klimaatverandering. De opwarming van de aarde is niet bewezen door één milde winter, maar door legio onderzoeken naar koraalriffen, gletsjers, CO2-toename, temperatuurstijging, et cetera. Net als bij roken kwamen die studies telkens tot dezelfde conclusie. Als het onderzoek zo overweldigend is, dan is er sprake van een ‘wetenschappelijke consensus’.
How to Lie with Smoking Statistics
Nog altijd financiert de tabaksindustrie wetenschap. Zo werd in 2017 bekend dat Philip Morris International jaarlijks 80 miljoen dollar zou gaan geven aan de Foundation for a Smoke-Free World. De Wereldgezondheidsorganisatie reageerde fel: dit was overduidelijk belangenverstrengeling.
Ook buiten de tabaksindustrie is twijfel intussen een krachtig wapen geworden tegen wetenschappelijk bewezen verbanden. Naomi Oreskes en Erik Conway laten in hun boek Merchants of Doubt zien dat dezelfde listen worden gebruikt bij het ontkennen van klimaatverandering. Of neem de internationale zuivelindustrie, die onderzoek financierde dat de consensus over de nadelige gevolgen van melkvet in twijfel moest trekken.
Het is een kwestie van tijd voordat nieuwe industrieën dezelfde strategie gaan toepassen om hun belangen te beschermen. Misschien is het na Big Tobacco en Big Oil wel de beurt aan Big Tech om onderzoek naar de nadelige effecten van smartphones en internet onder de pet te houden.
Ook politici zie je twijfel zaaien over de waarheid. Met gemak verwerpen hooggeplaatste Amerikaanse ambtenaren claims over klimaatverandering onder het mom van ‘sound science’, ‘gedegen wetenschap’. Waar die term vandaan komt? De tabaksindustrie.
Waarom wist Huff niet beter? Waarom bleven hij en de tabaksindustrie twijfel zaaien over het onderzoek naar roken en longkanker? Misschien was Huff zo gewend om onderzoek neer te sabelen dat hij het domweg niet kon toegeven wanneer het wel deugde.
Maar er is een veel waarschijnlijkere verklaring: Huff werd betaald door de tabaksindustrie. Hij had zelfs opdracht gekregen voor een boek, dat uiteindelijk nooit zou verschijnen.
De titel? How to Lie with Smoking Statistics.
Fout opgemerkt of meer nieuws? Meld het hier