Intrekken glyfosaatstudie breekt speelveld niet open

by Redactie Agrifacts

Een wetenschappelijk artikel over glyfosaat is na 25 jaar ingetrokken. Terecht, volgens onderzoeker Marc Jacobs. Wat niet terecht is, is de gewekte suggestie dat daarmee het speelveld rond glyfosaat weer open zou liggen. Wetenschappelijk debat hoort in de wetenschap te worden uitgevochten. Niet in de journalistieke kamer van BNNVARA/Zembla.

Door Dr. Marc Jacobs, onderzoeker

Het artikel Safety Evaluation and Risk Assessment of the Herbicide Roundup and Its Active Ingredient, Glyphosate, for Humans is teruggetrokken door (co)Editor-in-Chief, Prof. Martin van den Berg[1]. Het artikel stamt uit het jaar 2000 en twee van de drie originele auteurs leven al niet meer. De laatst levende auteur (Prof. Williams) heeft niet gereageerd op eerdere aantijgingen van ghostwriting[2] waardoor er door het artikel nu een grote rood streep staat met de woorden RETRACTED.

Dat een artikel wordt teruggetrokken omdat het niet geschreven is door de auteurs van het artikel vind ik persoonlijk een goede zaak. Elke lezer moet ervan kunnen uitgaan dat wat geschreven staat in een artikel ook daadwerkelijk door de auteurs is geschreven. Ook moet een lezer ervan kunnen uitgaan dat de gebruikte data en analyses betrouwbaar én verdedigbaar zijn. Los van voortschrijdend inzicht moet wetenschappelijk werk voldoende robuust zijn om de wetenschappelijke gemeenschap te kunnen informeren. Beleid berust zich vaak op wetenschappelijke inzichten om een keuze te rechtvaardigen. Dit laatste kent zo haar eigen uitdagingen, maar is wel vaandeldrager voor transparantie en communicatie.

Het artikel kent volgens Prof. van den Berg echter meer problemen dan alleen de aantijgingen van ghostwriting. Zo werden alleen ongepubliceerde studies afkomstig van Mosanto gebruikt. Vijf additionele studies die toentertijd beschikbaar waren werden niet ingezet (Atkinson 1993; Sugimoto 1997, Takahashi 1999, Enemoto 1997, en Suresh 1996). Deze studies worden wel opgenomen in een review uitgevoerd door Chris Portier[3] en door Zembla aangehaald om te verklaren dat de statistiek rondom glyfosaat niet voldoende is[4]. Zou men de ‘juiste’ statistische toets hanteren dan zouden de resultaten er veel slechter uitzien voor pesticiden zoals glyfosaat.

Om te zien of deze stelling klopt heb ik de review van Portier met de gebruikte data tot mij genomen. Deze review includeert wel de vijf missende studies (en nog een aantal meer). Mijn bevindingen heb ik in dit rapport beschreven[5] waarin ik zowel de data als mijn analyses vrijgeef[6]. Ik hanteer expliciet dezelfde data als Portier en ga mee met zijn selectieprocedure. Het enige wat ik getracht heb te doen is om te vinden wat hij heeft gevonden. Ook heb ik contact met hem gezocht, maar tot op heden (elf maanden verder) heb ik niks vernomen. 

Het lukt mij niet om zijn werk te repliceren. Ook zie ik niet het voordeel van de eenzijdige toets. Ik citeer (uit pagina 5 en 6) van het rapport:

“Ik heb echt moeten zoeken om die relatie te vinden. Door de bocht genomen lukt het mij niet om met behulp van de frequentistische statistiek een relatie aan te tonen tussen dosering en kanker. De bevindingen zijn vaak niet statistisch significant wanneer ik tweezijdig toets. Een uitstap naar een eenzijdige toets voegt daar weinig aan toe én maakt dat we moeten aannemen dat het schatten van de relatie tussen dosering en kans op kanker een harde grens heeft in het schatten van de relatie. Ik voeg dan een assumptie die zich maar moeilijk laat verdedigen. Een eenzijdige toets heeft namelijk niet zo veel te maken met de richting van de relatie, maar eerder met het afkappen van de onzekerheid. In een dossier als deze, waarin de onzekerheid groot is, kan dat geen juiste methodiek zijn voor het bepalen van een relatie”   

Over de relatie tussen glyfosaat en kanker zeg ik het volgende, en ik citeer wederom vanuit pagina 6:

“Uiteindelijk lijkt het erop dat alleen in de Swiss Albino ratten, op basis van één studie en dan met name bij vrouwen, de relatie tussen glyfosaat en de kans op kanker duidelijk is: een toename van 8% vanuit het model. De toename op kanker, vanuit de data, bedraagt dan 4%. Beide getallen kennen een aanzienlijke onzekerheidsmarge. Daarmee kunnen ze niet doorslaggevend zijn voor het gehele dossier.”

De retractie van de studie uit 2000 lijkt nu te vermoeden dat het gehele speelveld open ligt. Dat is niet zo, want we kunnen gebruik maken van de Portier review uit 2020. Maar deze review kent haar eigen problemen zoals ik in het rapport veelvuldig laat zien. Ik eindig daarom ook als volgt:

“We kunnen denk ik met dit rapport concluderen dat onderzoek naar glyfosaat beter moet en beter kan, maar daarvoor moet de data ook op het niveau van het dier worden gemeten waarbij ook wordt gekeken naar de factor tijd. Dat ontbreekt nu. Verder hebben we het hier over dierproeven en niet over menselijke studies.”

Wetenschappelijk debat hoort in de wetenschap te worden uitgevochten. Niet in de journalistieke kamer van BNNVARA/Zembla.

[1] https://www.sciencedirect.com/science/article/pii/S0273230099913715

[2] https://www.sciencedirect.com/science/article/pii/S1462901125001765

[3] https://pubmed.ncbi.nlm.nih.gov/32050978/

[4] https://www.bnnvara.nl/zembla/artikelen/kankerrisico-door-pesticiden-decennialang-verkeerd-ingeschat

[5] https://stichtingagrifacts.nl/wp-content/uploads/2025/02/Rapport-Pesticiden-en-Kanker-door-MSJ-Advies.pdf

[6] https://github.com/MJacobs1985/Glyfosaat_Statistiek

Foto: Shutterstock/Patrick Herzberg

Deel via:

Zembla gebruikt pesticiden-toets verkeerd, kritiek op Ctgb onterecht

by Redactie Agrifacts

‘Kankerrisico bij bestrijdingsmiddelen wordt al jaren verkeerd gemeten’, menen Zembla en NOS. Beide media beroepen zich op uitspraken van Geert de Snoo, milieubioloog en directeur bij het Nederlands Instituut voor Ecologie. Het College voor de toelating van gewasbeschermingsmiddelen (Ctgb) zou bedenkelijke statistiek toepassen, die het risico op kanker maskeert. Volgens De Snoo zou een andere toets gehanteerd moeten worden. Onafhankelijk onderzoeker Marc Jacobs vergeleek de toets van het Ctgb met die van De Snoo. De uitkomst: als De Snoo ‘zijn’ toetst op de juiste wijze had toegepast, zou hij tot dezelfde uitkomst zijn gekomen als het Ctgb. De Snoo, Zembla en NOS, passen ‘hun’ toets verkeerd toe.

Volgens Zembla en NOS zou het Ctgb de verkeerde statistiek gebruiken. En zo de kankerverwekkendheid van met name glyfosaat maskeren. De NOS verwoordde het in september 2024 als volgt: ‘Om te meten of een middel kankerverwekkend is, worden proefdieren een tijdlang aan de stof blootgesteld. Daarvoor bestaan twee testmethodes. Bij een eenzijdige testmethode wordt alleen gemeten of het middel leidt tot een toename in het aantal ziektegevallen bij de proefdieren, terwijl bij een tweezijdige testmethode zowel op voor- als op nadelen voor de gezondheid wordt getest.’ Volgens De Snoo zou er éénzijdig getest moeten worden. En niet tweezijdig, zoals het Ctgb doet. Daarmee zouden kankerverwekkende eigenschappen over het hoofd kunnen worden gezien.

Eén- of tweezijdige statistiek?

Onafhankelijk onderzoeker Marc Jacobs is gespecialiseerd in de epidemiologie en de daarbij toegepaste statistiek. Hij checkte de bewering van Geert de Snoo, dat éénzijdige statistiek kankerverwekkendheid beter blootlegt dan tweezijdige.

Het blijkt dat De Snoo zich bovenal baseert op één studie: die van de Amerikaanse wetenschapper Christopher Portier uit 2020. Deze studie betreft een heranalyse van historische dierproeven voor glyfosaat. Jacobs heeft getracht de bevindingen van Portier te reproduceren, door de data op dezelfde wijze te gebruiken als Portier. Wanneer Jacobs dezelfde statistische bewerkingen toepast als Portier, vindt hij bij benadering vergelijkbare resultaten als Portier. “Maar wanneer ik de methodiek van Portier hanteer, treden er wel problemen op die door Portier niet worden geadresseerd. In het algemeen rapporteert Portier per geslacht per studie welke kankersoort er wel of niet is opgetreden per dosering. Dit maakt dat de studie van Portier meer dan 200 statistische toetsingen kent. Het herhaaldelijk statistisch testen van eenzelfde dataset is echter een katalysator voor het vinden van vals positieven.” Wanneer Jacobs corrigeert voor deze vals-positieven, verdwijnen alle statistisch significante effecten.

“Wat verder mist is dat de studies die Portier gebruikt, verschillen in welke soorten kanker wordt gerapporteerd. Wanneer een kankersoort in zijn geheel uitblijft, wordt dat soms wel gerapporteerd, maar niet consequent. Portier werkt daardoor met proporties die als hoger worden gerapporteerd dan ze daadwerkelijk zijn. Dit komt omdat bij het samenvoegen van de studies, het uitblijven van kanker niet wordt meegenomen in de berekening van de kans op kanker.”

Dosis-respons

In het algemeen, en ook in de studies die Portier gebruikte, is het uitermate lastig om een zogenaamde dosis-respons analyse uit te werken. Traditionele non-lineaire analyses mislukken en met behulp van meer lineaire technieken ziet Jacobs een hoop onzekerheid. De relatie tussen glyfosaat en kanker verschilt vaak en veel. Verder is er een substantiële kans op kanker voor de nul-dosering (de controlegroep). Dit alles maakt dat het zoeken naar een model dat recht doet aan de geobserveerde data, én aan de modelassumpties, buitengewoon lastig is. Jacobs: “De bevindingen zijn vaak niet statistisch significant wanneer ik tweezijdig toets. Dat geldt overigens ook voor de eenzijdige toets.”  Een eenzijdige toets heeft namelijk niet zo veel te maken met de richting van de relatie, zoals De Snoo meent, maar eerder met het afkappen van de onzekerheid. In een dossier als deze, waarin de onzekerheid groot is, kan dat geen juiste methodiek zijn voor het bepalen van een relatie.

Rapport Jacobs

Jacobs publiceerde zijn bevindingen in een rapport, en legt nauwkeurig de verschillen tussen eenzijdige en tweezijdige statistiek uit. “Ik hoop van harte dat mijn rapport laat zien dat statistiek bedrijven op data meer is dan wisselen van toets om een aanname gewicht te geven. Het vervangen van een tweezijdige toets door een eenzijdige toets verandert niets: ik zou alleen maar voor meer vals positieven moeten corrigeren.”

Er is veel onwetendheid over statistiek en modelleren. De Zembla-reportage met haar haast bombastische uitspraken over het kiezen van ‘de verkeerde toets’ sterkt helaas het idee dat statistiek een veld is waarin het draait om goed of fout. Niets is minder waar. Het draait meestal om kansen, maar bovenal draait het om het verwerken van informatie zodat deze kunnen worden gebruikt voor een gesprek.

Jacobs zocht contact over zijn bevindingen met Portier. Deze reageerde (nog) niet.

Onderzoeksrapport

Het rapport Kankerrisico door pesticiden decennialang ‘verkeerd’ ingeschat –  Waarom de keuze voor de frequentistische statistiek voor beide ‘partijen’ problematisch is; Dr. Marc Jacobs; januari 2025’ is de downloaden van de STAF-website.

Rapport Pesticiden en Kanker door MSJ AdviesDownloaden
Deel via: