Joop Bouma brouwt onzin uit open data van overheid.

ImageIk las vandaag een artikel in dagblad Trouw getiteld ‘Bestrijdingsmiddel rukt op’ geschreven door Joop Bouma. De kaartjes hiernaast stonden als illustratie bij het artikel opgenomen. Joop Bouma gebruikt deze kaartjes om zijn conclusie dat imidacloprid steeds vaker wordt aangetroffen te onderbouwen. Nieuwsgierig als ik ben ben ik eens op zoek gegaan naar de bron voor deze conclusie. Ik bezocht de website van het betreffende waterschap (zie hier) en zocht op het woord ‘imidacloprid’. Ik kom een rapportage gewasbeschermingsmiddelen 2011-2013 tegen (zie hier), maar dit betreft niet dezelfde meetjaren en is dus niet bruikbaar. Via de betreffende rapportage kom ik echter op de onderzoekswebsite van het waterschap terecht (zie hier) en na wat rondklikken kom ik daar kaartjes (gemaakt met openlayers !) tegen (zie hier) die overeenkomsten vertonen met die in het artikel van Joop Bouma. Mijn eerste vraag aan Joop is: is dit je bron ? En zo ja, waarom heb je die bron niet netjes gerefereerd in je artikel zodat je lezers dit kunnen checken ?

Naast overeenkomsten zijn er opvallende verschillen tussen de grafieken zoals Joop deze presenteert en de grafieken op genoemde website. Allereerst geeft Joop zijn grafiek als titel ‘verspreiding bijengif imidacloprid in oppervlaktewater’ terwijl de oorspronkelijke kaart de titel ‘thematische kaart meetpunten waterkwaliteit hhnk’ heeft. In het artikel schrijft Joop dat “op de twee kaartjes (…) is te zien dat het landbouwbestrijdingsmiddel imidacloprid van fabrikant Bayer in een tijdsbestek van 15 jaar op steeds meeer meetpunten werd aangetroffen in het oppervlaktewater” Maar dat lijkt mij te kort door de bocht. Op de kaartjes die Trouw zelf heeft gemaakt is slechts te zien op welke punten het waterschap metingen naar imidacloprid heeft verricht. Maar meten is wat anders dan aantreffen. Door de titel ‘verspreiding bijengif imidacloprid’ boven de kaartjes te zetten misleid Joop zijn publiek. Het enige wat de kaartjes laten zien zijn de plekken waar het waterschap metingen heeft verricht.

Hieronder heb ik de twee kaarten van het waterschap (Bron) opgenomen voor de jaren 1995 en 2010, die waarschijnlijk de bron voor Joop’s kaarten zijn. Ik heb 75 percentiel als aggregatie gekozen.



Jooop heeft kennelijk uit de oorspronkelijke kaartjes afgelezen dat imidacloprid in 2010 op meer punten is gemeten dan in 1995 en dat op alle meetpunten de stof ook is aangetroffen en daaruit zijn conclusie getrokken dat imidacloprid ‘op steeds meer meetpunten werd aangetroffen’. Maar Joop maakt in dat geval twee cruciale denkfouten. De eerste denkfout is dat het probleem natuurlijk niet groter is in een jaar waarin de steekproef (aantal meetpunten) toevallig groter is. De tweede denkfout is subtieler. Is imidacloprid namelijk wel op alle meetpunten in beide meetjaren aangetroffen ? De oorspronkelijke grafieken lijken dit op het eerste gezicht wel te suggereren. Uit de legenda blijkt namelijk dat elke meting 0.04 ug/l of groter is geweest. Dit geldt ook als je als aggregatiemethode ‘minimum’ kiest. Maar in de legenda staat een belangrijke opmerking, namelijk ‘getalswaarde kleiner dan meting blijft staan’. Een nogal kryptische opmerking, maar volgens mij cruciaal. Je moet maar net weten dat bestrijdingsmiddelen door laboratoria worden gemeten met inachtneming van een zogenaamde ‘rapportagegrens’. Bepaalde lage concentraties kunnen laboratoria niet meten en registreren de meting dan als ‘< 0.xxx ug/l’. Metingen onder de rapportagegrens zijn NIET aangetroffen. Het lijkt erop dat het waterschap (uit gemak ?) dus geen onderscheid maakt tussen wel of niet aangetroffen metingen. De oorspronkelijke grafieken geven daarmee simpelweg GEEN informatie of en waar de stof imidacloprid nu precies is aangetroffen.

Geven de oorspronkelijke grafieken dan helemaal geen informatie ? Nee, volgens mij niet of nauwelijks. Het zegt in ieder geval niks over de verspreiding in voorkomen van imidacloprid. Het geeft mischien wel wat informatie over de hoogste gehaltes waarmee imidacloprid wordt aangetroffen. Je mag er namelijk vanuit gaan dat hoge gehaltes doorgaans daadwerkelijk zijn aangetroffen en niet de aanduiding ‘< 0.xxx’ hebben meegekregen. Als je dus in de grafiek kiest voor ‘maximum’ of ’75 percentiel’ en alleen kijkt naar de lokaties met de hoogste gehaltes, krijg je in elk geval een idee waar de hoogste gehalten worden aangetroffen. Als we op deze manier naar de grafieken kijken kunnen we ons wel vinden in Joop’s andere conclusie ‘na 2008 lijkt er een afname van dit middel, hoewel het nog steeds in lagere concentraties wordt aangetroffen’.

Maar Joop waarom heb je niet gewoon even verder gekeken dan het eerste de beste grafiekje dat je goed van pas kwam op te nemen ? Hoewel het waterschap zijn eigen gegevens volgens mij met deze grafieken verkeerd presenteert, biedt het waterschap je geheel in lijn met de filosofie van ‘open data’ de mogelijkheid zelf hun kale meetgegevens op te vragen (zie hier). Daarmee had je uitstekend je eigen analyse kunnen maken om je verhaal te onderbouwen. Ik ben zo vrij geweest deze analyse wel even uit te voeren. Na het downloaden van de gegevens heb ik eerst een selectie gemaakt van alle meetpunten die sinds het begin van de metingen van imidacloprid (1999) tot nu een (min of meer) constante meetreeks hebben. Dit om geen appels met peren te vergelijken. Er bleken slechts vijf meetpunten met een constante meetreeks te zijn. Vervolgens heb ik wat tellingen uitgevoerd van het percentage aangetroffen (van totaal) metingen en de maximumwaarde per jaar en in onderstaande grafieken gepresenteerd. En wat voor conclusie je daaruit kan trekken ? Geen flauw idee, dat oordeel laat ik graag aan journalisten over.



Aantal aangetroffen metingen van imidacloprid plus percentages van totaal aantal metingen imidacloprid per jaar



Maximum waarde imidacloprid per jaar

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s