Foto's in dit verhaal: Shutterstock
Computermodellen spelen een steeds belangrijkere rol als het gaat om oplossingen voor maatschappelijke vraagstukken. Een fout in of misverstand over het model kan dan ook grote implicaties hebben. Een protocol met 22 vereisten helpt bij de ontwikkeling, perfectionering en het onderhoud van Wageningse computermodellen, bij het beoordelen over de toepasbaarheid van deze modellen en bij het krijgen van grip op noodzakelijke investeringen in het modelonderhoud.
Er was grote consternatie toen in oktober 2022 bleek dat Aerius, de rekenhulp van het RIVM die gebruikt wordt om de stikstofneerslag te berekenen en dient als hulpmiddel voor vergunningverlening in de bouw en landbouw, gebruikmaakte van een foute correctiefactor. Tussen de berekeningen van Aerius en fysieke metingen bleken afwijkingen te zitten die varieerden tussen de 30 en 100 procent. Directeur Wijnker van het RIVM gaf toe dat de kwaliteitscontrole niet op orde was. De rekenhulp van het RIVM was niet van Wageningse makelij, maar zou het ook met onze modellen kunnen gebeuren?
Foute berekeningen door rekenmodellen hebben bovendien gevolgen voor het vertrouwen in rekenmodellen. Terwijl dergelijke computermodellen een steeds belangrijkere rol spelen als het gaat om oplossingen voor maatschappelijke vraagstukken, zoals de stikstofdepositie. Het is dus belangrijk dat de kwaliteit van het computermodel buiten kijf staat.
Geerten Hengeveld probeert als leider en auditor van het project Kwaliteitsborging van modellen te zorgen dat problemen zoals met Aerius niet met Wageningse computermodellen kunnen gebeuren. Dat is een secuur werk, want modellen zijn per definitie incompleet. Hengeveld: “Een model is een simplificatie van de werkelijkheid. Anders gezegd: een model is een abstractie van de werkelijkheid die we op een systematische manier proberen te beschrijven. De werkelijkheid is complexer en omdat we niet alles weten, zou je kunnen zeggen dat een model altijd fout is. Dat vind ik iets te plat. Zolang je weet waarvoor je het kan gebruiken en waarvoor niet, is een model ontzettend nuttig.”
‘Een computermodel is per definitie incompleet, omdat de werkelijkheid complexer is’
Foto: Guy Ackermans
Wat maakt een computermodel zo nuttig?
“Een model is wetenschappelijke kennis die is omgezet in wiskundige formules of rekenregels waar een stuk software omheen gebouwd is. Dankzij de formules en rekenregels kun je een idee expliciet maken. Een model kent geen genade; als ik ergens aan ga rekenen en er neemt iets een beetje toe, dan zegt het model hoeveel impact dat heeft.”
“Een mooi voorbeeld is het stikstofkaartje van het ministerie van Landbouw, Natuur en Voedselkwaliteit. Lang ging de discussie alleen over algemene richtlijnen: 50 procent stikstofreductie voor het hele land. De kaart maakte wél heel expliciet wat de algemene cijfers op de grond betekenen. Dat schept duidelijkheid, maar tegelijkertijd moet wel helder zijn wat de waarde is die toegedicht wordt aan zo’n kaart; welke aannames erachter zitten en hoeveel invloed specifieke aannames of beleidskeuzes hebben. Het model geeft aanknopingspunten om te praten over wat wel en niet haalbaar is.”
Een model is dus per definitie incompleet. Is het dan wel mogelijk een goed model te maken?
“Een goed model moet aan veel criteria voldoen. Het begint met weten waar een model voor gemaakt wordt, wat het moet doen. Vervolgens moet duidelijk beschreven zijn welke aannames gemaakt zijn om tot het model te komen: wat is belangrijk, wat niet. Als dat terug te lezen is, kan een ander ook beoordelen of het model relevant is voor de beoogde toepassing. Een model dat ‘goed’ is om te berekenen hoe hard het wereldwijde bos groeit onder invloed van klimaatverandering, kan nutteloos zijn als je specifiek op de Veluwe wil kijken naar beschikbaar hout voor nieuwe huizen. Ook moet je model gestoeld zijn op en in lijn zijn met de beschikbare data en veldwaarnemingen.”
“Zo kunnen we meer criteria noemen, elk met eigen motivatie waarom ze belangrijk zijn. En wat je ook moet onderkennen is dat ‘een goed model’ voor verschillende groepen iets anders kan betekenen. Wetenschappelijk goed beschreven, hoeft niet te betekenen dat het toepasselijk is binnen een specifiek project.”
Wat doet Wageningen om de kwaliteit van onze modellen te waarborgen?
“Ons uitgangspunt is dat we goed werk willen leveren, natuurlijk. Daarom hebben we een protocol opgesteld, een checklist met 22 vereisten waaraan elk nieuw computermodel moet voldoen. Deze checklist helpt Wageningse modelleurs bij de ontwikkeling van hun model, bij de beoordeling van de toepasbaarheid van het model en bij het krijgen van grip op noodzakelijke investeringen in het modelonderhoud.”
“De basis van het protocol is de Wetenschappelijke handreiking voor goed modelgebruik uit 1999 van de Stichting Toegepast Onderzoek Waterbeheer (STOWA). In deze handreiking wordt beschreven hoe je tot kwalitatief goede watermodellering komt. Wageningse onderzoekers hebben destijds op basis van dit rapport een eigen protocol opgesteld. Daar heb ik weer gebruik van gemaakt voor het opstellen van deze nieuwe lijst.”
“Met ons protocol willen we aan iedereen laten zien: ‘dit is een betrouwbaar model. We weten wanneer je het wel en niet kan gebruiken en je kan het nalezen.’ We willen door dit protocol ook meer grip krijgen op modellen waar we meer in moeten investeren om ze beter te krijgen en goed te houden. Het gebruik van het protocol kan een modelleur wijzen op onvolkomenheden of onduidelijkheden in zijn beschrijvingen en analyses. En we willen bij de onderzoekers meer bewustzijn ontwikkelen, zodat er beter gecommuniceerd kan worden over modellen met bijvoorbeeld het management en opdrachtgevers. Die zitten niet te wachten op hogere wiskunde of andere abstracties.”
“Het is eigenlijk een soort examen dat onderzoekers moeten afleggen. En als het examen met goed gevolg is afgelegd, komt er een stempel met approved op te staan. Als auditors van het project Kwaliteitsborging van modellen lezen we alle documentatie en beschrijvingen van modellen minutieus en toetsen we deze aan de vereisten waar een model van WUR aan zou moeten voldoen. Ik ben als het ware de man met de stempel.”
‘Met ons protocol willen we aan iedereen laten zien: dit is een betrouwbaar model’
Het voert wellicht wat ver om alle 22 vereisten te noemen. Kun je in het kort uitleggen waar het om draait?
“Een uitgebreide beschrijving van het model is essentieel. Wat is het doel van het model en waarvoor kan het gebruikt worden en waarvoor niet? Vervolgens willen we dat het model geanalyseerd is: wat is de gevoeligheid voor variatie in de invoerdata, welke onzekerheden hebben we over het model en de onderliggende data? Wat ook belangrijk is, is de planmatigheid van werken. Weten en vastleggen wie wat doet en wie welke verantwoordelijkheid heeft.
“Communicatie met de gebruikers - overheden of bedrijven - van het model is heel belangrijk. De gebruikers moeten weten wat er wel en niet kan met het model en wat de grenzen zijn waarbinnen het model betrouwbaar is. Een mooi voorbeeld van de afgelopen maanden is minister Rob Jetten die aan de Autoriteit Consument & Markt (ACM) gevraagd had om een redelijke marge te berekenen voor de energiebedrijven in het kader van het prijsplafond voor elektriciteit en gas. De ACM heeft de opdracht teruggegeven omdat het rekenmodel van de ACM niet ingericht is voor deze specifieke vraag van de minister.’
“Daarnaast is documentatie belangrijk omdat de kennis over het model niet moet hangen op één persoon. Dat als die persoon plotseling de organisatie verlaat de business ophoudt.”
Er staat in het protocol niets over databeveiliging. Moet dat niet óók een onderdeel zijn van een goed model? Het lijkt me essentieel dat de data waarop het model is gebaseerd niet op straat kan komen te liggen?
“Klopt. Toen we deze lijst opstelden in 1999 was datasecurity nog geen belangrijk onderwerp. Nu is databeveiliging een heel groot issue. Gelukkig is deze lijst niet statisch en ontwikkelt-ie zich nog volop. In een volgende versie wordt databeveiliging ongetwijfeld één van de vereisten. Het is geen perfecte lijst, maar wel een die handvatten en gespreksstof biedt. Uiteindelijk hoop ik dat elke modelleur met een stempel van goedkeuring op zijn model hier de deur uitloopt.”
Deel dit artikel
Onderzoeksproject Task 3, WOT-NM: Kwaliteitsslag
Team Cheng Liu, Janien van der Greft, George van Voorn, Rogier Pouwels, Ab Veldhuizen, Sabine Schnabel, Joao Paulo, Peter Hobbelen, Peter Verweij, André Bannink, Co Daatselaar, Vincent Hin, Chen Chun