Ed Broeze

In mijn negentienjarige praktijk als statistisch adviseur bij de Algemene Rekenkamer ben ik vaak geconfronteerd met een controle waarin een 'incidentele', een 'niet-representatieve' of een 'heel uitzonderlijke' fout was gevonden. Zo uitzonderlijk, dat de controlerend accountant van mening was dat je die fout mocht 'isoleren'.

Of te wel: het ophogen (extrapoleren) van de gevonden fout naar de totale te controleren massa, was niet nodig. Immers, iets unieks heeft per definitie een ophogingsfactor van 1.

Analoog ging het met een 'systematische fout', zoals een tijdelijke fout in de programmatuur. Als je al die fouten kunt isoleren (en indien nodig/ mogelijk) corrigeren, weet je zeker dat er niet meer van die fouten in de massa zitten, dus waarom zou je de zo gevonden fout extrapoleren?

Deze redenering is al jaren en tot op de dag van vandaag onuitroeibaar. Dit ondanks de vaststelling dat de elementen in de steekproef aselect zijn getrokken en dat de weg van steekproef naar massa (naast het kansmodel waarmee wordt gerekend) is gebaseerd op die aselectheid. Het om wat voor reden dan ook skippen van elementen, doorbreekt de aselectheid en daarmee een geldige ophoging.

Burghstahler en Jiambalvo (B&J) werken in 1986 in The Accounting Review 61(2) deze vaststelling uit in een 'balletjes, blokjes en andere vormen in een vaasmodel'.

Zij zeggen: laten in een steekproef uit de vaas zwarte balletjes voor correcte items staan en rode balletjes en een rood blokje voor foute items.

Van het rode blokje is vast te stellen (meent de accountant) dat het uniek is. Niet meetellen van het rode blokje voor het schatten van (ophogen naar) het aantal rode vormen in de vaas betekent echter dat je zeker moet weten dat er niet ook rode piramidetjes, kegeltjes, schijfjes, sterretjes etc. in de vaas zijn.

Niet meetellen van het blokje laat dus al die andere mogelijke vormen buiten schot en leidt daarmee in het algemeen tot onderschatting van de werkelijke fout. Met als gevolg een te grote kans op onterechte acceptatie van een verantwoording.

De auteurs memoreren: "A fundamental assumption underlying audit sampling is that items are, for sampling purposes, homogeneous in the sense that observation of some subset of items is useful for drawing conclusions about the remainder of the whole population." (pagina 263)

Isoleren en niet ophogen is strijdig met die homogeniteits-aanname, aldus B&J.

Wheeler, Dusenbury & Reimers trachten in 1997 in Decision Sciences 28(2) de isoleringsmisvatting te redden door te laten zien dat een vertekenende schatter (zoals door isoleren ontstaat) wel preciezer kan zijn. En als dat zo is, dat je met die grotere precisie een wenselijker schatter hebt. Maar zij laten helaas buiten beschouwing dat die vertekening een onderschatting van de fout inhoudt.

Verontrustend is dat Allen & Elder in 2005, in Auditing, a Journal of Practice and Theory 24(2) melden dat in de periode 1994-1999 het ophogen van fouten minder gebruikelijk is geworden voor de big five-firma's in hun studie. De non-big five zijn wel vaker tot ophogen overgegaan. Zeer verontrustend is hun bevinding dat 'immaterialiteit' van een fout (ook) als argument voor niet-ophogen wordt gebruikt.

Verontrustend is ook dat ik nog zeer onlangs betrokken was in een discussie of isoleren tot niet ophogen mocht leiden. Die discussie is helaas verklaarbaar door het meest verontrustende, alleen al om zijn hardleersheid: ISA 530 in A19 (in 2008!) geeft ruim baan aan isoleren.

Het zal u, lezer, niet ontgaan zijn dat ik weinig over corrigeren heb gesproken. Wellicht is u ook niet ontgaan dat de angel ook niet in het corrigeren zit, maar in het isoleren: de beslissing om een fout niet op te hogen.

En dan snapt u ook dat er in het koppel 'Isoleren en corrigeren' mogelijk zelfs een verdwijntruc kan zitten: als we die geïsoleerde fout corrigeren, hebben we toch ook niets meer op te hogen?!

Maar u snapt ook dat je zo'n statement alleen in een column kan maken.

In een volgende column wil ik graag ingaan op wat met isoleren en corrigeren verder fout kan gaan en op wat wél kan.