Drie redenen waarom de meeste onderzoekspublicaties over leefstijl en gezondheid ONJUIST zijn

Wetenschappelijk onderzoek woordwolkGek word ik ervan: nieuwsberichten van onderzoekspublicaties over een bepaald fenomeen rond leefstijl en gezondheid, die wat ik met zekerheid meende te weten weer in twijfel trekken – of gewoon compleet onderuit halen…

Zo werd margarine eerst beschouwd als gezonder alternatief voor boter, totdat het negatieve effect van transvet bekend werd. Eieren waren niet goed voor je cholesterol, maar nu blijkt dat toch weer mee te vallen. Hoge doses aan antioxidanten leken het risico op verouderingsziekten te verlagen, totdat bleek dat ze op lange termijn juist schadelijk kunnen zijn. En was melk voorheen de witte motor, nu is het ineens de witte sloper.

Reden voor deze tegenstrijdige berichten? Het merendeel van de onderzoekspublicaties is onjuist. Dit principe geldt voor vrijwel elk vakgebied – met name voor thema´s die modieus zijn, zoals leefstijl en gezondheid (Ioannidis, 2005).

Toch is bovenstaande geen reden om ‘de wetenschap’ te wantrouwen. In dit artikel staan de drie voornaamste redenen waarom de meeste publicaties onjuist zijn. Maar ook waarom wetenschap desondanks zeer waardevol is, en hoe je als niet-wetenschapper het kaf van het koren kunt scheiden.

Reden nr. 1.       Wetenschappers zijn feilbaar
Wetenschappers maken fouten, zij het bewust (fraude) of onbewust.

Wetenschappers moeten wetenschap bedrijven met de kennis en middelen die op dat moment tot hun beschikking staan. Ze hebben belangen, blinde vlekken, wensen, verwachtingen en vooroordelen (Greenwald, 2012).

Kortom: wetenschappers zijn ook maar mensen.

Reden nr. 2.       De wetenschap is (en blijft) een zoektocht
Wetenschap bedrijven is een proces, een zoektocht naar feiten, dat veelal begint met een vermoeden over een bepaald fenomeen. Een kleinschalig, verkennend onderzoek kan dan gedaan worden om te kijken of er aanwijzingen zijn dat dit vermoeden klopt. Pas wanneer resultaten veelbelovend zijn, en de mogelijke voordelen hiervan aanzienlijk, wordt tijd, geld en energie gestoken in meer uitgebreid onderzoek.

Het mag voor iedereen duidelijk zijn dat een klein, verkennend onderzoek lang niet zulke betrouwbare resultaten oplevert als een grootschalig en systematisch opgezet gerandomiseerd vergelijkend onderzoek onder een grote groep proefpersonen. Maar ja, hiermee start onderzoek naar een bepaald fenomeen nooit. Logisch gevolg hiervan, is dat initiële onderzoeksresultaten afkomstig uit kleinschalig onderzoek na grondig onderzoek vaak niet blijken te kloppen!

Tussen 1979 en 1983 werden in zes voorname wetenschappelijke tijdschriften 101 studies gepubliceerd over een veelbelovende nieuwe therapie of medische technologie. Van deze 101 kwamen er binnen een tijdsbestek van tien jaar slechts 5 daadwerkelijk op de markt. Slechts 1 hiervan (ACE-remmers) wordt momenteel nog gebruikt (Contopoulos-Ioannidis et al., 2003).

Het wetenschappelijke proces is de wijze waarop wij wetenschappelijke ontdekkingen doen, en er is niets mis mee – mits je van dit proces op de hoogte bent en er rekening mee houdt door geen voorbarige conclusies te trekken en het onderzoek op waarde in te schatten.

In vakbladen, standaarden en protocollen wordt hierom veelal een heel helder onderscheid gemaakt tussen verschillende niveaus van wetenschappelijk bewijs, tussen:

  1. wat met 99,999999% zekerheid aangetoond (‘bewezen’) is;
  2. wat aannemelijk is gemaakt;
  3. waarvoor aanwijzingen bestaan, of
  4. wat de heersende mening van (een groep) deskundigen is.

GERELATEERD: Wetenschappelijk bewezen… een korte uitleg


Reden nr. 3.       Over wetenschap wordt (mis)gecommuniceerd
Om van nut te kunnen zijn, moeten onderzoeksresultaten natuurlijk wel bekend zijn. Ontdekkingen moeten gecommuniceerd worden. Dus wordt onderzoek gepubliceerd. Hiertoe maken Universiteiten en andere onderzoeksinstellingen persberichten, die met regelmaat aangedikt worden (Sumner et al., 2016; Schat et al., 2018).

Publicaties van onderzoeksresultaten die statisch gezien significant zijn, zeker wanneer deze resultaten op de een of andere manier opzienbarend en aansprekend zijn, worden over het algemeen eerder gepubliceerd in wetenschappelijke tijdschriften (‘publication bias’). Dit principe geldt al helemaal voor de gangbare media (ja, deze blog valt daar ook onder!), want spraakmakende berichten doen het nou eenmaal beter bij het gros van de lezers (Dickersin, 1990; Fanelli, 2011; Gonon et al., 2012; Nuijten et al., 2015). Onzekerheden en bescheiden effecten halen het nieuws niet.

wetenschap checklistJournalisten en andere (online) schrijvers communiceren (uit goede trouw of niet) meestal niet expliciet over de bewijskracht van het onderzoek waar ze verslag over doen (in veel gevallen vermelden ze niet eens hun bronnen). Hierdoor kan de zin die begint met ‘Uit onderzoek blijkt…’ veel verschillende betekenissen hebben; en betekent op zichzelf dus nog helemaal niets.

Voor vrijwel alle voedingsmiddelen (boter, eieren, koffie, maïs, melk, rundvlees, thee, tomaten, wijn) zijn studies te vinden die het voedingsmiddel in verband hebben gebracht met een verhoogd risico op kanker – én studies die hetzelfde voedingsmiddel in verband hebben gebracht met een verlaagd risico op kanker (Schoenfeld & Ioannidis, 2013).

Wat ik persoonlijk erg frustrerend vind, is wanneer schrijvers gebruik maken van een zogenaamde pick and choose methode als het gaat om brongebruik. Hierbij halen ze de onderzoeken aan die mooi in hun verhaal (en waarschijnlijk bij hun overtuiging) passen, en verzaken ze om te verwijzen naar andere resultaten afkomstig uit beter of meer recenter uitgevoerd onderzoek. Artikelen kunnen dan wel verwijzen naar een écht wetenschappelijk onderzoek, maar als uit vergaander onderzoek al gebleken is, dat wat eerst veronderstelt werd waar te zijn, toch niet klopt, dan heeft de informatie gebaseerd op de eerdere bron geen waarde meer.


GERELATEERD: Wetenschap, kwakzalverij en het placebo-effect


Hoe je als leek de waarde van wetenschappelijk onderzoek kunt bepalen
Mensen lezen vooral artikelen over leefstijl en gezondheid om kennis te verzamelen waar zij in de praktijk hun voordeel mee kunnen doen. Maar voordat je je op basis van een wetenschapsclaim in een bepaald dieet stort of voedingssupplement aanschaft, is het nuttig een idee te hebben in hoeverre je dit zal opleveren wat beweert wordt. Hoe kun je als leek bepalen welke bewijskracht een wetenschappelijk onderzoek heeft?

Het wetenschappelijke tijdschrift Nature heeft een artikel gepubliceerd met daarin twintig tips die je kunnen helpen om wetenschappelijke claims op de juiste waarde te schatten (zie hier). De Kennis Van Nu heeft acht hiervan vertaald naar het Nederlands (zie hier).

Zelf heb ik nog een zeer simpele (en naar mijn mening zeer effectieve) tip om het kaf van het koren te scheiden. Of het nu gaat om cosmeticaclaims, gezondheidsclaims of wetenschappelijke claims: ‘Als het te mooi lijkt om waar te zijn, dan is het dat waarschijnlijk ook’.


Bronnenlijst

Contopoulos-Ioannidis, D. G., Ntzani, E. E., & Ioannidis, J. P. (2003). Translation of highly promising basic science research into clinical applications. The American journal of medicine, 114(6), 477-484.

Dickersin, K. (1990). The existence of publication bias and risk factors for its occurrence. Jama, 263(10), 1385-1389.

Fanelli, D. (2011). Negative results are disappearing from most disciplines and countries. Scientometrics, 90(3), 891-904.

Gonon, F., Konsman, J. P., Cohen, D., & Boraud, T. (2012). Why most biomedical findings echoed by newspapers turn out to be false: The case of attention deficit hyperactivity disorder. PloS one, 7(9), e44275.

Greenwald, A. G. (2012). Scientists Are Human: Implicit Cognition and Researcher Conflict of Interest. In Psychology of Science: Implicit and Explicit Processes. Oxford University Press.

Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Med, 2(8), e124.

Nuijten, M. B., van Assen, M. A., Veldkamp, C. L., & Wicherts, J. M. (2015). The replication paradox: Combining studies can decrease accuracy of effect size estimates. Review of General Psychology, 19(2), 172.

Schat, J., Bossema, F.G., Numans, M.E., Smeets, I. en Burger, P. (2018). Overdreven gezondheidsnieuws. Relatie tussen overdrijving in academische persberichten en in nieuwsmedia. Ned. Tijdschr. Geneeskd., 162:D1936.

Schoenfeld, J. D., & Ioannidis, J. P. (2013). Is everything we eat associated with cancer? A systematic cookbook review. The American journal of clinical nutrition, 97(1), 127-134.

Sumner, P., Vivian-Griffiths, S., Boivin, J., Williams, A., Bott, L., Adams, R., … & Chambers, C. D. (2016). Exaggerations and caveats in press releases and health-related science news. PloS one, 11(12), e0168217.

Deel dit via:
Facebooktwitterredditpinterestlinkedinmail
Geplaatst in Schoonheid en Gezondheid Getagd met ,

Review mijn reviews

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

*