Zembla gebruikt pesticiden-toets verkeerd, kritiek op Ctgb onterecht

‘Kankerrisico bij bestrijdingsmiddelen wordt al jaren verkeerd gemeten’, menen Zembla en NOS. Beide media beroepen zich op uitspraken van Geert de Snoo, milieubioloog en directeur bij het Nederlands Instituut voor Ecologie. Het College voor de toelating van gewasbeschermingsmiddelen (Ctgb) zou bedenkelijke statistiek toepassen, die het risico op kanker maskeert. Volgens De Snoo zou een andere toets gehanteerd moeten worden. Onafhankelijk onderzoeker Marc Jacobs vergeleek de toets van het Ctgb met die van De Snoo. De uitkomst: als De Snoo ‘zijn’ toetst op de juiste wijze had toegepast, zou hij tot dezelfde uitkomst zijn gekomen als het Ctgb. De Snoo, Zembla en NOS, passen ‘hun’ toets verkeerd toe.

Volgens Zembla en NOS zou het Ctgb de verkeerde statistiek gebruiken. En zo de kankerverwekkendheid van met name glyfosaat maskeren. De NOS verwoordde het in september 2024 als volgt: ‘Om te meten of een middel kankerverwekkend is, worden proefdieren een tijdlang aan de stof blootgesteld. Daarvoor bestaan twee testmethodes. Bij een eenzijdige testmethode wordt alleen gemeten of het middel leidt tot een toename in het aantal ziektegevallen bij de proefdieren, terwijl bij een tweezijdige testmethode zowel op voor- als op nadelen voor de gezondheid wordt getest.’ Volgens De Snoo zou er éénzijdig getest moeten worden. En niet tweezijdig, zoals het Ctgb doet. Daarmee zouden kankerverwekkende eigenschappen over het hoofd kunnen worden gezien.

Eén- of tweezijdige statistiek?

Onafhankelijk onderzoeker Marc Jacobs is gespecialiseerd in de epidemiologie en de daarbij toegepaste statistiek. Hij checkte de bewering van Geert de Snoo, dat éénzijdige statistiek kankerverwekkendheid beter blootlegt dan tweezijdige.

Het blijkt dat De Snoo zich bovenal baseert op één studie: die van de Amerikaanse wetenschapper Christopher Portier uit 2020. Deze studie betreft een heranalyse van historische dierproeven voor glyfosaat. Jacobs heeft getracht de bevindingen van Portier te reproduceren, door de data op dezelfde wijze te gebruiken als Portier. Wanneer Jacobs dezelfde statistische bewerkingen toepast als Portier, vindt hij bij benadering vergelijkbare resultaten als Portier. “Maar wanneer ik de methodiek van Portier hanteer, treden er wel problemen op die door Portier niet worden geadresseerd. In het algemeen rapporteert Portier per geslacht per studie welke kankersoort er wel of niet is opgetreden per dosering. Dit maakt dat de studie van Portier meer dan 200 statistische toetsingen kent. Het herhaaldelijk statistisch testen van eenzelfde dataset is echter een katalysator voor het vinden van vals positieven.” Wanneer Jacobs corrigeert voor deze vals-positieven, verdwijnen alle statistisch significante effecten.

“Wat verder mist is dat de studies die Portier gebruikt, verschillen in welke soorten kanker wordt gerapporteerd. Wanneer een kankersoort in zijn geheel uitblijft, wordt dat soms wel gerapporteerd, maar niet consequent. Portier werkt daardoor met proporties die als hoger worden gerapporteerd dan ze daadwerkelijk zijn. Dit komt omdat bij het samenvoegen van de studies, het uitblijven van kanker niet wordt meegenomen in de berekening van de kans op kanker.”

Dosis-respons

In het algemeen, en ook in de studies die Portier gebruikte, is het uitermate lastig om een zogenaamde dosis-respons analyse uit te werken. Traditionele non-lineaire analyses mislukken en met behulp van meer lineaire technieken ziet Jacobs een hoop onzekerheid. De relatie tussen glyfosaat en kanker verschilt vaak en veel. Verder is er een substantiële kans op kanker voor de nul-dosering (de controlegroep). Dit alles maakt dat het zoeken naar een model dat recht doet aan de geobserveerde data, én aan de modelassumpties, buitengewoon lastig is. Jacobs: “De bevindingen zijn vaak niet statistisch significant wanneer ik tweezijdig toets. Dat geldt overigens ook voor de eenzijdige toets.”  Een eenzijdige toets heeft namelijk niet zo veel te maken met de richting van de relatie, zoals De Snoo meent, maar eerder met het afkappen van de onzekerheid. In een dossier als deze, waarin de onzekerheid groot is, kan dat geen juiste methodiek zijn voor het bepalen van een relatie.

Rapport Jacobs

Jacobs publiceerde zijn bevindingen in een rapport, en legt nauwkeurig de verschillen tussen eenzijdige en tweezijdige statistiek uit. “Ik hoop van harte dat mijn rapport laat zien dat statistiek bedrijven op data meer is dan wisselen van toets om een aanname gewicht te geven. Het vervangen van een tweezijdige toets door een eenzijdige toets verandert niets: ik zou alleen maar voor meer vals positieven moeten corrigeren.”

Er is veel onwetendheid over statistiek en modelleren. De Zembla-reportage met haar haast bombastische uitspraken over het kiezen van ‘de verkeerde toets’ sterkt helaas het idee dat statistiek een veld is waarin het draait om goed of fout. Niets is minder waar. Het draait meestal om kansen, maar bovenal draait het om het verwerken van informatie zodat deze kunnen worden gebruikt voor een gesprek.

Jacobs zocht contact over zijn bevindingen met Portier. Deze reageerde (nog) niet.