Goodhart’s Law (in Dutch)

De wet van Goodhart

Ik wil het met u hebben over meten en wat daar lastig aan is. Laat ik dicht bij mijzelf als docent aan een kennisinstelling beginnen. Sinds een jaar of 10-15 kent het hoger onderwijs in Nederland een financierings­systeem waarbij de kennisinstelling geld krijgt voor het aantal studenten dat overgaat of slaagt. Dat heeft twee duidelijke voordelen en twee ietwat minder duidelijke nadelen. Het eerste duidelijke voordeel is dat je meet op wat je wilt krijgen: we willen studenten met een diploma de maatschappij ingestuurd zien, en dus meten we dat. Wiedes toch? Het tweede duidelijke voordeel is dat het aantal studenten dat slaagt een goed meetbaar criterium is, daar valt weinig mee te sjoemelen, toch?

De nadelen zijn minder evident. Het eerste nadeel is dat dit alleen lekker werkt “in steady state”, dus als er elk jaar zo’n beetje dezelfde instroom is van studenten. Heb je van doen met een stijgende instroom, dan ijlt de financiering van dat stijgende aantal studenten na: in jaar 1 komen er meer studenten binnen, maar pas een paar jaar later krijg je ook betaald voor dat grotere aantal. Dat betekent dus altijd “knijpen met de resources” in tijden van groei. De basisschool van mijn kinderen heeft dat probleem. Zij draaien lekker (of de concurrent draait minder goed, om het even), hierdoor nemen de instroomaantallen toe, maar hierdoor worden de klassen in de onderbouw steeds groter, en hierdoor moeten er steeds weer andere noodverbanden met stagaires en deeltijders aangelegd worden. Jammer, onbedoeld “straf” je zo goed draaiende scholen dus eigenlijk.

Het tweede nadeel is dat de kwantiteit goed te meten is, maar de kwaliteit veel minder goed. Het aantal studenten met een diploma is goed te meten, maar wat dat diploma waard is veel minder goed. We hebben in Nederland de InHolland-affaire gehad, en dat is natuurlijk foei-foei, zoiets gebeurt bij ons niet.  We hebben op onderzoeksgebied overigens de affaire Stapel gehad, en wederom: foei-foei, zoiets gebeurt bij ons niet. Maar zijn de studies die studenten nu gevolgd hebben beter, slechter of net zo goed als 10-15 jaar geleden? Wederom: dat is lastig te meten, want kwaliteit is moeilijk goed te meten als output-variabele. Een inputvariabele is wel goed te meten, bijvoorbeeld hoeveel uren studenten gestudeerd hebben. Daarover hebben we wel redelijk goed meetbare data. De gemiddelde student in het hoger onderwijs studeerde in 2009 zo’n 35 uur per week en had daarnaast een bijbaan van zo’n 9 uur. Dat is dramatisch meer dan tien jaar daarvoor, toen was dat 26 uur en 10 uur studie[1]. Maar zijn die studenten nu veel harder gaan werken door beter onderwijs of doordat de economie guurder wordt en de studiefinanciering kaler? En dan die bijbaantjes: 25-30 jaar geleden toen ik zelf als freelance programmeur/student door het leven ging, was een bijbaantje een uitzondering. Nu besteedt de gemiddelde student daar ruim een dag aan, zonder dat andere nevenactiviteiten significant afgenomen lijken te zijn. En zonder dat de slagingspercentages dramatisch verslechterd zijn, integendeel. Zijn nou de studenten tegenwoordig beter, is het onderwijs beter of zijn de examens gewoon makkelijker geworden? Moeilijk te zeggen.

In zijn algemeenheid durf ik me aan te sluiten bij een voormalige adviseur van de nationale bank van Engeland, Charles Goodhart, die de zogeheten Wet van Goodhart formuleerde: Zodra een overheid een bepaalde variabele probeert in een zekere richting te sturen, wordt die variabele steeds minder betrouwbaar als juiste indicator van wat er echt gebeurt. En dat komt doordat mensen dit onderkennen, en deze waarde gaan manipuleren. Zo heeft een kwart van  de top 16 van de Economen Top-40 van 2012 een dubbele benoeming, eentje in het buitenland en eentje in Nederland. 2 halen 1 betalen, dus eigenlijk.

Dit nu is ook de pijnlijke paradox in onderhoudsland. Als je niks meet, dan weet je wat er gebeurt: “people respond to incentives”. Zo stelde het NRC in afgelopen jaar dat Odfjell in de Rotterdamse haven gedeeltelijk dicht moest omdat was gebleken dat al decennia geen controles aan de tanks waren uitgevoerd[2]. Maar als je wél meet, dan kun je er donder op zeggen dat deze meting na verloop van tijd corrupt wordt, of op zijn minst gemanipuleerd. Wat moet je nou doen als goed bedoelende maintenance manager?

De voorgestelde oplossing is vaak een “mandje” met factoren. Zoals een punt in de ruimte uniek bepaald kan worden door het snijpunt van een paar vectoren, zo wordt het wel heel moeilijk om performancedata te manipuleren als op 3-4 verschillende manieren gemeten wordt: kwaliteit-doorlooptijd-kosten is zo’n heilige drie-eenheid, bijvoorbeeld.  Maar ook dat blijkt vaak lastig. Want in zo’n mandje zitten vaak zowel “harde” indicatoren zoals slagingspercentages als en “zachte” indicatoren zoals kwaliteit van de opleiding. En waar kun je donder op zeggen als mensen op zowel goed als slecht meetbare factoren beoordeeld worden? Juist, dat ze éérst zullen proberen op de harde indicatoren te scoren en dan pas op de zachte. Eerst op slagingspercentages, dan op goed lesgeven. Eerst op kostenniveaus van onderhoud, dan pas op kwaliteit van onderhoud.

Dat meten in theorie zo handig is voor besturen maar in de praktijk zo lastig komen we overal tegen in het onderzoek naar doelmatig onderhoud. Bij het onderzoek naar toepassing van Condition-Based-Maintenance zien we dat het probleem niet is te weinig sensoren op apparaten, maar de bereidheid om data te delen met meerdere partijen. Bij het onderzoek naar maintenance-gericht ontwerpen zien we dat grote revisies bedrijven best willen nadenken over onderhoudsvriendelijke oplossingen, maar dat die in de praktijk van de druk op snel en niet te duur reviseren vaak tussen de wal en het schip vallen. Bij het onderzoek naar human factors in onderhoud zien we dat operators wel allerlei data gepresenteerd krijgen met toeters en bellen, maar dat het erg moeilijk blijkt om te begrijpen wat die data betekent, omdat systemen vaak complexer zijn dan de operator in de gaten heeft of kan hebben. Bij het onderzoek naar spare parts zien we…. en zo kan ik nog wel even doorgaan.

Als sturen op meetuitkomsten zo lastig blijkt, hoe kun je het gedrag van mensen dan wel beïnvloeden? Daar kun je wel een boek over vol schrijven (Zijn we dan ook mee bezig.) Maar misschien weet de jonggestorven dichter Saint-Exupéry het nog het best te formuleren: “Als je een schip wil bouwen, roep dan geen mannen bij elkaar om hout te verzamelen, het werk te verdelen en orders te geven. In plaats daarvan, leer ze verlangen naar de enorme eindeloze zee….”

 

 

 



[1] Tien jaar Studentenmonitor. Studiegedrag en de sociaal-economische positie van de generatie 2001-2010. Nov 2011, Min OCW, p.53

 

[2]  a b c Odfjell tijdelijk helemaal dicht – sluiting voor onbekende tijd NRC.NL 27 juli 2012, geraadpleegd 3 augustus 2012

 

By continuing to use the site, you agree to the use of cookies.

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close