Magazine 01 november 2008

Meten = weten = begrijpen = beheersen?

De maatschappelijke roep om verantwoording en beleidsevaluatie leidt bij overheidsdiensten nogal eens tot 'meetmanie'. Is er een oplossing voor de uitwassen van deze audit society?

Dit artikel is verschenen in de Accountant nr. 11, 2008

Bekijk alle artikelen uit dit nummer

» Download dit artikel in pdf

“Waren wij maar in deze tijd opgegroeid”, zuchtte onlangs een moeder van rond de vijftig bij het schoolhek. “Die ontspannen omgang met meesters en juffen, echte individuele begeleiding. En al die dingen die kinderen buiten schooltijd kunnen doen: tennis, voetbal, viool spelen, computerspelletjes. Wat hadden wij van dat alles?”

De vraag was retorisch bedoeld. Maar spontaan schoot mij een ander antwoord door het hoofd: ‘Vrijheid! Wij hadden nog vrijheid. Konden wij niet eindeloos op straat en in parken spelen zonder dat onze ouders ons voortdurend in de gaten hielden? En maakten wij daardoor niet van alles mee? Nu maken kinderen nooit iets mee dat niet gepland is.’

Ai! Liet ik me daar gaan in een oprisping van onvervalste nostalgie? Word ik een grumpy old man? Of schetste ik half per ongeluk een kwaal van onze tijd? Eén die zich ook buiten de school in talloze gedaanten vertoont?

Er blijft immers bijna geen menselijke activiteit meer over die niet voortdurend gecontroleerd, gemonitord, en gemeten wordt. En als nu het saldo van al die auditing in het algemeen maar positief was, dan was het te verkroppen. Maar, om bij de anekdote van hierboven te blijven: komen kinderen nu met gemiddeld meer kennis van de basisschool dan veertig jaar geleden? Opnieuw een retorische vraag? Of een die op een antwoord wacht?

Pavlov-reactie

In het onderwijs, de gezondheidszorg, de sport, het uitgaansleven, de industrie, de landbouw, het bank- en verzekeringsbedrijf: overal, werkelijk óveral wordt over onze schouders meegekeken. Vaak letterlijk, want overal hangen er camera's aan plafonds. Soms figuurlijk: dan moeten degenen die worden bekeken en beoordeeld tot vervelens toe formulieren invullen die naar alles vragen (maar vaak net niet naar dát wat de ondervraagde eigenlijk zo graag kwijt zou willen).

Het lijkt of er niets meer fout kan gaan of de overheid voelt zich geroepen, als was het een Pavlov-reactie, aan te kondigen dat binnenkort nieuwe normen zullen gelden, dat scherp op naleving zal worden gelet en dat het nieuwe beleid, natuurlijk na gedegen auditing, in een transparant en democratisch proces zal worden geëvalueerd. Wie niet meteen vijf concrete voorbeelden kan bedenken heeft de laatste tien jaar op een andere planeet gewoond.

Onderwijs

Maar laten we op één casus toch even ingaan. Enkele jaren geleden ontstond een discussie over de kwaliteit van het onderwijs. De politiek besloot in 2007 een commissie in te stellen onder voorzitterschap van het PvdA-Kamerlid Jeroen Dijsselbloem. Die zou kijken naar het politieke beheer van het onderwijs in de laatste twintig jaar.

De conclusie luidde dat het onderwijsniveau inderdaad was gedaald, omdat er al die tijd geen sprake was geweest van deugdelijk toezicht op de kwaliteit. Politieke stokpaardjesrijderij was altijd belangrijker geweest dan de alarmerende signalen uit het veld.

Aanbevelingen uit het rapport behelsden onder meer: méér met eenduidige standaarden werken, regelmatig toetsen verplicht stellen, de geldende normen voor aantallen lesuren opnieuw te bekijken, en het management in de onderwijssector meer eigen verantwoordelijkheid geven.

Kortom, het in de politiek gebruikelijke antwoord: meer meten en controleren. Want meten is weten is begrijpen is beheersen. Maar is dat ook zo?

Open deuren

Niet iedereen is overtuigd van die schijnbaar dwingende logica. In een interview met de filosoof Grahame Lock, dat NRC Handelsblad in februari 2008 publiceerde, wees deze hoogleraar aan de Radbouduniversiteit in Nijmegen er fijntjes op dat wat in het rapport met veel aplomb werd verwoord, vooral open deuren waren.

Iedereen wist immers al wat er aan de hand was. Meer en beter meten had het probleem niet voorkomen. En zal dat bij toepassing van de voorgestelde vorm van auditing - scores meten op nieuw in te voeren standaarden - ook niet doen, vermoedt Lock. Want de meer open vraag wat in deze tijd werkelijk goed onderwijs is, of wat verstaan wordt onder begrippen als de ‘efficiency’ van het ‘product’ onderwijs wordt niet gesteld.

Domweg wordt ervan uitgegaan dat het aantal uitgedeelde diploma's daarvoor een indicator is, of het percentage dat de eindstreep van een opleiding haalt. Maar garandeert dat dat studenten écht iets geleerd hebben, of echt kritisch leerden nadenken?

Tjeenk Willink

Héél nu en dan is er iemand uit het politieke bedrijf zelf die bezwaar maakt tegen de mechanische manier waarop conclusies worden getrokken uit gemeten resultaten over de prestaties en doelmatigheid van het openbaar bestuur. Begin april 2008 was dat niemand minder dan Herman Tjeenk Willink, vice-president van de Raad van State, het orgaan dat regering en parlement adviseert over wetgeving en bestuurskwesties.

In het jaarverslag van de raad over 2007 laat hij merken zich zeer te storen aan de ‘bijna dwangmatige’ vraag naar kwantitatieve verantwoording van overheidsbeleid. Hij schrijft: “Niet doelmatigheid en doeltreffendheid, maar rechtsgelijkheid en rechtszekerheid, democratische legitimiteit en publieke verantwoording zijn de onderscheidende criteria voor kwaliteit van openbaar bestuur in de democratische rechtstaat.” Nederlands ‘onderkoning’ - Beatrix is qualitate qua president van de Raad van State - in de rol van leider van het verzet tegen de accountants en controllers van het openbaar bestuur. Tja, als niemand anders het doet …

Verkeersboetes

Een inventariserend en evaluerend rapport als dat van Dijsselbloem is eigenlijk op twee niveaus symptomatisch voor een probleem dat het werk van auditors vaak aankleeft. Het lijkt of ze vaak niet echt tot zich laten doordringen wat de opdrachtgever werkelijk wil weten - of zou moeten willen weten. Als een robot focussen ze op eendimensionale opdrachten zonder op context te letten.

Misschien té karikaturaal, maar als een auditor in het kader van een onderzoek naar de veiligheid op de weg het aantal uitgedeelde boetes voor te snel rijden als relevante indicator neemt, dat is dat een voorbeeld van het geschetste probleem. Als er meer overtredingen worden geregistreerd, kan dat betekenen dat er harder en roekelozer wordt gereden, maar als het het gevolg is van - zoals onlangs het geval bleek - introductie van digitale fotoapparatuur die veel meer foto's per minuut kan maken, dan zegt het misschien wel helemaal niets. Of dat automobilisten zich meteen aanpassen aan de grotere pakkans en juist rustiger gaan rijden.

Audit society

Hoe dit ook zij, een hartekreet als die van Tjeenk Willink draagt wel bij aan het idee dat het probleem van een overmaat aan meten en monitoren snel ernstiger wordt. Is het inderdaad erger dan het was?

Misschien. Nieuw is het in elk geval niet. Het fenomeen van de audit explosion werd al ruim tien jaar geleden in detail geschetst door de Engelsman Michael Power in zijn boek The Audit Society.

Zoals de titel van het boek al suggereert, beschrijft deze voormalige accountant een maatschappij - in dit geval de Britse - die in de ban is geraakt van het idee dat overheidsonderdelen moeten worden beoordeeld als bedrijven. Namelijk door te proberen prestaties uit te drukken in kwantificeerbare eenheden: geld, geleverde diensten, gewerkte uren enz. Power concentreert zijn verhaal op de National Health Service (NHS), het genationaliseerde laagdrempelige Britse gezondheidszorgsysteem. Midden jaren negentig bekritiseerde hij de mentaliteit waarin observeren en meten hoger aangeschreven staan dan werkelijk dingen doen.

Drie hoofdoorzaken

Het werk van auditors kan volgens Power soms het beeld oproepen dat artsen tekort schieten ook als ze, gegeven de omstandigheden, wel degelijk optimaal handelden. Het werktuiglijke in het observeren en impliciet oordelen, zonder oog voor de complexiteit van de werkelijkheid, beschreef hij elf jaar geleden al. Power noemt drie hoofdoorzaken voor de auditgolf die in de jaren negentig over de Westerse wereld spoelde:

• de ideeën over New Public Management waarin overheidsdiensten zoveel mogelijk als producten van een onderneming werden gezien;
• de eis van belastingbetalende burgers dat de overheid transparanter zou worden en zich beter zou verantwoorden over gevoerd beleid en de kosten daarvan; en
• de opkomst van het idee dat een zekere gegarandeerde kwaliteit van dienstverlening, en waar nodig toezicht op die dienstverlening, mogelijk moest zijn.

Bugers zelf

Vooral de factoren twee en en drie zijn interessant. Ze leggen namelijk haarfijn bloot dat de alom zo verfoeide auditpraktijk eigenlijk niet zozeer een direct resultaat is van machinaties van technocraten en baantjesjagende managers, maar van maatschappelijk zeer breed gedragen wensen. Wie wil nou niet dat de overheid en zijn ambtenaren betrouwbaar en kwalitatief hoogwaardig werk leveren? Of dat overheidsbeleid is gebaseerd op objectieve, verifieerbare uitgangspunten, en dat belastinggeld efficiënt wordt besteed?

Power kaatst de bal naar de burger terug en zegt eigenlijk: wij mondige burgers, die van onze overheid transparantie eisen en verantwoordelijkheidsgevoel als het gaat om onze veiligheid, hebben dit monster dat Audit Society heet, eigenhandig gecreeerd. Het gaat dus niet aan de beschuldigende vinger naar anderen te wijzen. Nee, wij zijn het zélf!

Ontkennen dat dat zo is, óók in Nederland, is inderdaad zinloos: we hoeven maar terug te denken aan rampen zoals de brand in Volendam en de vuurwerkexplosie in Enschede, maar ook aan financiële drama's om te snappen dat burgers na zo'n drama inderdaad massaal eisen dat autoriteiten scherper toezicht houden.

Uitwassen

Maar betekent dat dat we dan ook de uitwassen van onze Audit Society moeten accepteren? Moeten audits en intensieve monitoring werkelijk gepaard gaan met het onintelligent gebruiken van meetresultaten?

Het ‘moet’ niet, maar helaas is het vaak nog wel zo. Dat is in het kort wat Frans Leeuw erover kan zeggen. Leeuw heeft recht van spreken want hij besteedde een belangrijk deel van zijn carrière aan het onderwerp prestatiemeting en beleidsevaluatie in het openbaar bestuur. Van 1987 tot 1995 als directeur doelmatigheidsonderzoek bij de Algemene Rekenkamer en later als hoofdinspecteur bij de Inspectie van het Onderwijs.

Leeuw is nu directeur van het Wetenschappelijk Onderzoek en Documentiecentrum (WODC) van het ministerie van Justitie in Den Haag, en hoogleraar recht en sociaal-wetenschappelijk onderzoek aan de universiteit van Maastricht.

“Besef goed”, zegt hij “dat auditors niet dezelfden zijn als degenen om een audit vragen. Auditors kunnen alleen werken met informatie die auditable is”.

‘Telbaar’

Hij zegt vaak te hebben gezien dat auditors hun eigen werkelijkheid hebben. Potentieel om meetresultaten meer diepte te geven is er wel, maar wordt nog te weinig benut.

Leeuw: “Auditors zouden van de economische en de gedragswetenschappen meer kunnen leren dan ze doen. Men zou behavioural controls en soft controls kunnen toepassen. De werking van gedragsmechanismen is vaak wel degelijk hard.” Het gebeurt volgens hem nog te vaak dat als een opdrachtgever om bepaalde informatie vraagt, auditors op zoek gaan naar vaak simpele, soms vooral ook procedurele en telbare indicatoren.

De meetmanie van overheidsdiensten lijkt een reactie op de vrijgevochtenheid van de jaren zeventig toen ambtenaren überhaupt niet bereid waren verantwoording af te leggen of hun prestaties te laten meten. Het New Public Management-denken waarover ook Power heeft geschreven, was daar een eerste antwoord op. Inmiddels lijkt de slinger doorgeslagen naar de andere kant.

DRAMATURGISCH

De gekte ontaardt vaak in ‘spelen’ dat de regels gevolgd worden. Dramaturgical compliance is de term die Leeuw gebruikt. Een gevolg natuurlijk van die op zich gerechtvaardigde eis van burgers dat een overheid op transparante wijze verantwoording aflegt. Maar niettemin een uitwas.

Maar hoe moet het dan dan? Meer autonomie voor degenen die het werk moeten doen? Ja. Maar dan ook maar wat minder democratische accountability? Een beetje terug naar de jaren vijftig?

In Leeuws visie is dat ondenkbaar. “Dat was de tijd van de bovenmeester die naar eigen goeddunken uitmaakte naar welk type middelbare school kinderen gingen. De inspecteur rookte intussen een sigaar en vond het wel best.” Collegial control is de term die hij gebruikt voor dat type paternalistische subjectiviteit. Praktisch, maar in deze tijd niet meer te verkopen.

Intelligente audit

De oplossing zou moeten kunnen komen van meer intelligente audits. Maar bestaan die?

Wél volgens Leeuw, die toevallig ook nog voorzitter is van VIDE, de beroepsvereniging van toezichthouders, inspecteurs, handhavers en evaluatoren. Hij signaleert een trend om klassieke metingen te combineren met ‘sporenonderzoek’ in de digitale werkelijkheid, bijvoorbeeld bij de registers van het CBS. Je zou dus veel meer te weten kunnen komen zonder ‘domme’ vragen hoeven te stellen.

Een aantrekkelijk idee wellicht vanuit het perspectief van degenen die ‘ge-audit’ werden. Maar is het een garantie dat in evaluaties die zich baseren op audits waarin meer bronnen zijn aangeboord, wél plaats zal zijn voor een echt inhoudelijke discussies? Dus niet alleen over wat gemeten, maar ook over wat ervaren is? Discussies dus niet zozeer tussen evaluator en auditor, maar rechtstreeks tussen evaluator en de auditees? Dat moet nog blijken.