Podcast: Download
Volgens een Franse studie onder leiding van Séralini ontwikkelen ratten die genetisch gewijzigde maïs te eten krijgen tot tweemaal meer kanker dan controleratten die gewone maïs kregen. Maar hoe betrouwbaar was deze studie?
”De gezondheidseffecten van een Rounduptolerante genetisch gemodificeerde maïs (van 11% in het dieet), gecultiveerd met of zonder Roundup, en alleen Roundup (van 0,1 ppb in water), werden gedurende 2 jaar bestudeerd bij ratten. Bij vrouwtjes stierven alle behandelde groepen 2 to 3 keer frequenter en sneller dan in de controlegroep. Dit effect was ook zichtbaar in 3 groepen mannetjes die GGO’s kregen. Alle resultaten waren hormoon- en geslachtsafhankelijk en de pathologische profielen waren vergelijkbaar. De vrouwtjes ontwikkelden bijna systematisch meer grote borsttumoren dan en vroeger dan de controlegroep, de hypofyse was het tweede meest getroffen orgaan, de seksuele hormoonspiegel was gewijzigd door de GGO- en Roundupbehandelingen. Bij de behandelde mannetjes waren levercongestie en necrose 2,5 tot 5,5 keer hoger. Deze pathologie werd bevestigd door optische en Transmissie Electron Microscopie. Duidelijke en zware nefropathie [aantasting van de nieren] was over het algemeen ook 1,3 tot 2,3 keer hoger. Mannetjes vertoonden 4 keer meer grotere tastbare tumoren dan de controlegroep en deze ontstonden tot 600 dagen vroeger. Biochemische gegevens bevestigden significante chronische nierinsufficiëntie voor alle behandelingen bij beide geslachten, 76% van de gewijzigde parameters waren niergerelateerd. Deze resultaten kunnen verklaard worden door de niet lineare endocrineontregelende effecten van Roundup, maar ook door overexpressie van de transgenen in de GGO’s en hun metabolische gevolgen.”
Wow! Dat klinkt echt wel verontrustend, niet? Voor mij in ieder geval wel. Op het eerste gezicht toch. Maar soms leek het me toch een beetje verdacht. Alhoewel sommigen reeds hadden aangestipt dat de gebruikte rattenstam (albino Sprague-Dawley ratten van Harlan Labs) een hoge neiging tot tumorontwikkeling hebben, zag ik dat initieel niet echt als een groot probleem zoals anderen dat deden. Uiteindelijk wil je een zekere tumorontwikkelingsbasis hebben en dan is het niet helemaal onredelijk om een stam te nemen die tumoren ontwikkelt aan een frequentie die hoog genoeg is dat ze waarschijnlijk gevoelig zal zijn voor carcinogenen. Aan de andere kant, als de basisfrequentie om tumoren te ontwikkelen hoog genoeg is, is er niet veel ruimte over om verder te verhogen en is het moeilijker om de effecten op een verhoogd aantal tumoren te meten. Het probleem met deze specifieke rattenstam is dat de frequentie een punt kan bereiken waarbij de grootte van de controlegroep een groot probleem wordt.
Twee zaken leken me nog verdachter. Ten eerste waren er slechts 20 ratten in de controlegroep. En eigenlijk waren het er in de praktijk zelfs minder omdat de auteurs zowel naar de manlijke als naar de vrouwelijke dieren keken. Er waren dus slechts 10 mannelijke en 10 vrouwelijke controledieren, wat ik toch een opmerkelijk klein aantal vond voor dit soort studies. Daarnaast waren er negen andere groepen, met twintig ratten in elke groep, telkens tien mannetjes en 10 vrouwtjes, wat in een zeer gecompliceerde proefopzet resulteert. Ik volg de mening van Marion Nestle, de Paulette Goddard professor van het departement voedingsonderzoek en publieke gezondheid van de universiteit van New York die de etikettering van genetisch gewijzigd voedsel op nationaal vlak steunt toen ze zei: ‘Het is erg ingewikkeld en onduidelijk op essentiële punten: welk voedsel kreeg de controlegroep, wat is de relatieve frequentie aan tumoren, waarom is er geen dosisrelatie, wat zijn de mogelijke mechanismen? Ik kan geen biologische reden bedenken waarom GG-maïs dit effect zou hebben.’ ‘Erg ingewikkeld’ is zelfs geen begin om het probleem te beschrijven. Het experimenteel ontwerp was onnodig ingewikkeld tot op het absurde toe, met te weinig ratten in elke groep. Zo waren de groepen dieren samengesteld:
1. Controlegroep (20)
2. 11% met GGO gevoed (20)
3. 22% met GGO gevoed (20)
4. 33% met GGO gevoed (20)
5. 11% met GGO gevoed + Roundup (20)
6. 22% met GGO gevoed + Roundup (20)
7. 33% met GGO gevoed + Roundup (20)
8. Roundup (A) (20)
9. Roundup (B) (20)
10. Roundup (C) (20)
De percentages zijn het percentage van GG-maïs in het rattenvoer, met name de Roundupresistente stam NK603, en ‘R’ betekent dat Roundup was toegepast op de maïs. R (A) tot R (C) zijn verschillende concentraties van Roundup in het drinkwater van de ratten. Eén probleem ontstaat hier al omdat we hier veel te veel groepen hebben om er significant interpreteerbare informatie uit te produceren, specifiek rekening houdende met het feit dat er slechts 10 mannelijke en 10 vrouwelijke dieren in elke groep zaten. In feite waren er 20 experimentele groepen met telkens tien ratten. Meest problematisch is het kleine aantal in de controlegroep. Er is een oude studie op deze rattenstam die in 1979 is gepubliceerd en kijkt naar de spontane ontwikkeling van endocriene tumoren. Na twee jaar ontwikkelen 86% van de manlijke en 72% van de vrouwelijke ratten tumoren van de soort die door Séralini et al beschreven worden. Merk op dat de periode van deze studie uit 1979 dezelfde was als die van Séralini et al, namelijk 2 jaar. Met andere woorden, de behandelde ratten ontwikkelden even veel tumoren als verwacht voor deze specifieke stam indien men ze niet behandelde en in feite had de controlegroep een ongewoon lage incidentie aan tumoren. De bioloog Androw Kniss liet een simulatie lopen waarvoor je de code online kan vinden (link op de notitiepagina) en stelde het volgende vast: Stel dat het Suzuki et al artikel uit 1979 correct is en 72% van de vrouwelijke Sprague-Dawley ratten na 2 jaar tumoren ontwikkelen, zelfs als ze er geen behandeling wordt toegepast. Als we willekeurig 10.000 ratten selecteren die 72% kans hebben dat ze een tumor ontwikkelen na 2 jaar, dan kunnen we vrij zeker zijn dat ongeveer 72% van de geselecteerde ratten effectief een tumor zullen ontwikkelen tegen het einde van die twee jaar. In onze zeer grote steekproef van 10.000 gesimuleerde raten vonden we dat 71,4% van de ratten tumoren zullen ontwikkelen tegen het einde van een 2-jarige studie. Dat is vrij dicht bij de 72%. Maar het is net hier dat de steekproefgrootte zo kritisch belangrijk wordt. Als we slechts 10 vrouwelijk ratten selecteren, is de kans om precies 72% met tumoren te vinden veel kleiner. In feite heb je een vrij grote kans dat het percentage van de 10 ratten die tumoren ontwikkelen zeer verschillend is van het populatiegemiddelde van 72%. De reden is dat er een veel grotere kans bestaat dat onze kleine steekproef van 10 niet representatief is voor een grotere populatie. Merk op dat dit probleem op hetzelfde neerkomt als wat ik uitlegde tijdens de afleveringen over climategate, over het verschil in voorspelbaarheid tussen het weer van de komende weken en het klimaat op lange termijn. Ik gaf toen als illustratie dat als je 10 keer een dobbelsteen gooit, het tamelijk moeilijk is om te voorspellen wat het gemiddeld aantal gegooide ogen is. Als je de dobbelsteen echter 1000 keer gooit, dan zal het gemiddeld aantal gegooide ogen zeer dicht in de buurt van 3,5 liggen.
Met andere woorden, grote getallen zijn belangrijk. In een groep van 10 muizen met een kans van 72% om een tumor te ontwikkelen na twee jaar is er een veel grotere kans dat het aantal ratten dat in een controlegroep van 10 tumoren zal ontwikkelen, zal verschillen van 7 (dus 72%). Ook opmerkelijk is dat de sterftegraad niet gerelateerd bleek te zijn aan de dosis GGO-maïs. De auteurs wijten dit aan het feit dat de GG-maïs zo slecht is dat het een drempelwaardeneffect had, waarbij de drempel reeds bereikt was voor de laagste dosis. Als dat waar is, zou dat tot gevolg hebben dat vervolgstudies zeker moesten kijken naar waarden tussen 0 en 11% GGO-maïs-toedieningen. Maar verdere modellering van de studie onthulde iets anders. Als je willekeurig 10 ratten uit een populatie met een 72% kans op tumoren na twee jaar neemt, zullen tussen 5 en 10 ratten in de groep tumoren ontwikkelen. Eigenlijk is de kans dat er precies 7 ratten een tumor ontwikkelen op deze populatie slechts 26%. De kans dat er 6 ratten een tumor ontwikkelen is 18% en 8 heeft 25% kans. De kans dat er slechts 5 ratten een tumor ontwikkelen door louter toeval is nog altijd 8%! Dat kan je vinden door de binomiaalverdeling van deze kansen uit te rekenen. (zie ook volgende simulatie in Excel: )Indien ik geen weet had over deze aanleg om tumoren te ontwikkelen in Sprague-Dawley ratten en ik was deze behandelde groepen vergeleek, zou ik geneigd zijn te zeggen dat er inderdaad een verschil is tussen groep 1 en 2. Slechts 5 dieren ontwikkelden tumoren in behandeling 1 en alle 10 ontwikkelden tumoren in behandeling 2. Dat lijkt zeer overtuigend, maar opnieuw, deze gevallen waren puur het gevolg van toeval.
En in werkelijkheid is het zelfs erger dan wat Dokter Kniss aantoont.
Wat bedoel ik juist? De onderzoekers meten een hoop parameters in elke groep, waarvan sommige op verschillende tijdstippen. Een experiment met zoveel gemeten parameters garandeert bijna meerdere ‘positieve’ resultaten. Hoe controleerden ze voor dit veelvoud aan vergelijkingen? Orac las de studie ondertussen al meerdere malen en is er nog altijd niet uitgekomen. Een experiment met zoveel groepen en zoveel gemeten parameters produceert gegarandeerd ‘statistisch significante’ verschillen in een hoop varabelen op basis van puur toeval. In figuur 5 van het artikel vind je 47 verschillende gemeten parameters, en in sommige tabellen dertien verschillende parameters die eigenaardig genoeg als procentuele afwijkingen opgetekend zijn. Met de mortaliteitsgegevens (duidelijk de meest kritische gegevens) is het nog erger gesteld: er worden geen betrouwbaarheidsintervallen opgegeven en er is geen beschrijving over hoe de mortaliteitsgegevens geanalyseerd zijn, zoals Michael Grayer in zijn blogpost over de slechte statistische analyse (of beter het gebrek eraan) excellent uitlegt. Ik zou hier enkel nog een paar vragen aan willen toevoegen. Ten eerste: waarom werd er geen statistische toets vermeld om het gekozen aantal dieren in het experiment te verantwoorden? Wat was het statistische onderscheidingsvermogen van dit ontwerp om significante verschillen te ontdekken? Dat zijn basiselementen van een onderzoek. Ten tweede: wie was dan wel de statisticus bij dit onderzoek? Hij zou op staande voet moeten worden ontslagen wegens grove incompetentie!
En dan spreken we nog niet over het gebrek aan blindering van de observatoren ten opzichte van de identiteit van de experimentele groepen. En dat is dan nog maar enkelvoudige blindering, wat het absolute minimum is dat acceptabel is voor een dierenexperiment. Dubbele blindering zou nog beter geweest zijn.
Er is nog iets verdachts aan de rapportering van de resultaten. Steven Novella stelde dit ook al vast, maar het is nog meer alomtegenwoordig dan hij al aangaf. Ik heb eigenlijk nog nooit eerder in een wetenschappelijk artikel een zin gezien zoals de volgende: ‘Alle gegevens kunnen niet in het rapport getoond worden en de meest relevante worden hier beschreven’ – tot ik dit artikel te zien kreeg. Steven vroeg zich af of de auteurs de resultaten aan het kersenplukken waren. Ik vraag het me nog meer af. Orac merkte namelijk op dat de Roundup en de GG-maïs blijkbaar dezelfde schadelijke effecten hadden. Dan zijn er de grafieken. Figuur 1 in het artikel is zo verwarrend. Het bestaat uit 6 grafieken. Drie grafieken voor mannetjes en drie voor vrouwtjes. Elke grafiek bestaat uit vier curven voor verschillende percentages van GG-maïs in het rattenvoedsel. Maar niet alleen dat, elke grafiek had een gearceerd gebied dat de gemiddelde levensduur representeerde. Daarenboven had elke grafiek een inset grafiek die de doodsoorzaak voorstelde voor ratten die stierven in de periode van het gearceerde gebied. Dat is dus een totaal van twaalf verschillende grafieken waarbij het verschrikkelijk moeilijk is om de experimentele groepen met elkaar te vergelijken. Het is alsof de auteurs het probeerden moeilijk te maken om de resultaten te interpreteren. Maar rekening houdende met het feit dat dit een studie van 20 verschillende groepen was (twee controle- en 18 behandelingsgroepen), zijn de resultaten zo oninterpreteerbaar dat ze op het punt gekomen zijn van volledige betekenisloosheid. Bovendien nam Emily Willingham de moeite (heel wat moeite, denk ik) door de data volgens op een meer gestandardiseerde methode opnieuw op grafiek te zetten, die de interpretatie veel gemakkelijker maakt. En raad eens. De verschillen verdwijnen bijna volledig. Bovendien denkt ze dat de verschillen te wijten zijn aan bisphenol A (BPA, een plastic weekmaker dat lijkt op oestrogeen en kankerverwekend kan zijn) dat uit de plastic kooien lekt. Misschien, maar deze uitleg is niet eens nodig om dit onderzoek in de prullenmand te gooien. Tenslotte is er de vraag of de controlegroepen aan de GG-maïs blootgesteld werden. Blogger Tim Worstall, ging na of er GG-maïs in normaal verkocht rattenvoer voor laboratoriumratten zit. Hij contacteerde Harlan, het bedrijf dat de ratten voor deze studie leverde en deze meldde dat ze geen GGO-materiaal in het voer uitsluiten. Bovendien merkte hij op dat indien de conclusies van de studie accuraat zijn, we een massief verschil in tumoren zouden moeten zien in deze ratten in de Verenigde Staten ten opzichte van Europa omwille van het verschil in gebruik van GGO’s in beide continenten. Hij heeft een punt, maar met een rattenstam met zo’n grote tumorincidentie zal het moeilijk zijn om significante verschillen te detecteren. Aan de andere kant houdt zijn argument steek dat ook de controlegroep GG-maïs kreeg. Er is in ieder geval niets in het artikel dat aantoont dat het voedsel van de controlegroep gecontroleerd vrij van GGO was.
Deze studie is gewoon zo slecht als een studie maar kan zijn. De uitgevers van Food and Chemical Toxicology, het tijdschrift waarin de studie verscheen moesten beschaamd zijn.
Zoals zo treffend gezegd in the New Scientist: ‘het zou kunnen dat de GG-maïs en het herbicide helemaal geen meetbaar effect hadden en dat de reden is waarom het verschil in dosis niets uitmaakte. Ze tonen gewoon aan dat oude ratten tumoren krijgen en sterven. Meer kan je er niet uit besluiten’ volgens Mark Tester van de universiteit van Adelaide, Australie. Dit is inderdaad het enige dat kan gezegd worden over de studie. Het is ook opmerkelijk om te zien hoeveel foto’s van ratten met hun lelijke tumoren de auteurs in hun artikel plaatsten, maar geen foto’s van controleratten. Foto’s die gretig overgenomen worden door andere charlatans. Waarom moeten we ons dat aantrekken? Zoals gezegd, heb ik de hekel aan ideologisch gemotiveerde pseudowetenschap en slechte wetenschap. We moeten ons verzetten tegen charlatans die blijven zwaaien met slechte onderzoeken die reeds lang achterhaald zijn, zoald het vaccinatieonderzoek van Andrew Wakefield. Dit is slechte wetenschap met belangrijke gevolgen. De studie van Séralini heeft de Franse overheid als aangezet om verder te bouwen op de resultaten van deze studie wat tot een stopzetting van het gebruik van deze maïsstam in Europa zou kunnen leiden. Ik wil Monsanto en hun soms discutabele politiek niet verdedigen, maar slechte studies als deze geven de indruk dat veel van de ‘wetenschap’ achter anti-GGO-activisme gewoon geen steek houdt en het gemak waarmee zulke onzinnige resultaten geaccepteerd worden, is deprimerend. Serieus, zelfs de slechtst gevoerde studies van farmabedrijven en Monsanto kunnen niet tippen aan deze tendentieuze, incompetente studie. Er zijn waarschijnlijk wel valabele redenen om voorzichtig te zijn in de proliferatie van op GGO gebaseerd voedsel, zoals de bekommernis om de controle die grote multinationale ondernemingen zoals Monsanto kunnen uitoefenen op de voedselvoorziening, maar studies als deze kunnen daar geen enkele bijdrage in leveren. Integendeel. Misschien was ik daarom niet zo verrast toen iemand opmerkte dat een van de auteurs in de studie ook homeopaat en acupuncturist is. Uiteindelijk zijn zij toch wel de professionals in de manipulatie van data, niet? Zo, nu kan men mij naast stem van Big Farma, van Electrabel, ook nog verwijten stem te zijn van Monsanto. Dat is het leven van een skepticus. Je bent te naïef omdat je de praatjes gelooft van de farma-industrie, van de chemiereuzen, Electrabel en de klimaatlobby.
Ondertussen regent het van de artikelen die deze studie eronderuit halen. Zie bijvoorbeeld:
In de vorige aflevering had ik het over mensen die blijkbaar niet in altijd staat zijn om onderscheid te maken tussen de islam als gedachtegoed en de moslims. Dat kan leiden tot een te grote vereenvoudiging van de werkelijkheid, en aldus extremistische standpunten, of net omgekeerd, tolerante standpunten tegenover de intolerantie. Beide houdingen zorgen ervoor dat de opportuniteit om er iets aan te doen gehypothekeerd wordt. Ik heb de indruk dat iets gelijkaardigs gebeurt met genetische manipulatie. Mensen hebben het soms moeilijk om een onderscheid te maken tussen de genetische technologie en bepaalde grote bedrijven die deze technieken gebruiken om een machtspositie te veroveren. Genetische technologie om die reden afvoeren is het kind met het badwater weggooien. Een gelijkaardig fenomeen doet zich voor rond de verwarring tussen wetenschappelijk onderbouwde geneeskunde en farmaceutische bedrijven die zich een wetenschappelijk aura aanmeten maar soms al te graag de data manipuleren als de resultaten niet helemaal in hun businessplan passen. Omwille van die reden voor zogenaamde alternatieve geneeskunde kiezen komt erop neer dat men op het verkeerde doel schiet. Farmabedrijven moeten beter gecontroleerd worden en er moeten betere procedures opgesteld worden, niet de methodologie die zijn nut al bewezen heeft vervangen door onzin, maar zorgen dat ze juist rigoureuzer wordt toegepast. Daarover hebben we het de volgende keer.
Het citaat van vandaag komt van Frank Cioffi.
Frank Cioffi was een filosoof die les gaf in onder andere Essex en Singapore. Hij heeft belangrijke kritiek geleverd op de theorieën van Freud. Cioffi zei:
Een succesvolle pseudowetenschap is een grote intellectuele prestatie. De studie ervan is even leerzaam en de moeite waard als die van een echte wetenschap.
Tot de volgende keer.
Wees de eerste om te reageren