Paul van Batenburg

Tijdens het symposium van de Stuurgroep Statistical Auditing van mei 2017 heb ik een methode gepresenteerd om de evaluatie van steekproeven te versimpelen. Nu weet ik dat er reacties kunnen komen dat de gemiddelde accountant dat toch niet snapt, of dat een bepaald boek met een softwaretool beter werkt dan zelf nadenken. Maar, ik schrijf ook niet voor de gemiddelde accountant, maar voor de accountants die dit onderwerp leuk vinden, en een fool with a tool is still a fool.

Mijn methode van evalueren is te onthouden als een rijmpje:
Voor elk element van de steekproef is de bijdrage tot de foutprojectie
gelijk aan het foutbedrag gedeeld door de kans op selectie. 

Getallenvoorbeeld 1 (postensteekproef):
Stel dat 1.000 posten samen een boekwaarde van 1 miljoen euro hebben. We trokken een steekproef van 100 waarnemingen. Deze bevatte 99 correcte uitkomsten en 1 post van € 500 die € 200 had moeten bedragen. Het foutbedrag is dus € 300. 

De kans op selectie van deze post is bij een postensteekproef honderd op duizend dus 10 procent, dus de geprojecteerde fout op basis van deze postensteekproef is, omdat dit de enige fout is en alle andere uitkomsten dus een bijdrage 0 leveren, gelijk aan € 300/10 procent = 3.000 euro. 

Getallenvoorbeeld 2 (geldsteekproef):
Stel dat ook hier de steekproefomvang 100 is (maar dan zijn het geldeenheden!). De kans op selectie van deze post van € 500 is bij een geldsteekproef van 100 geldeenheden 100 keer 500 op 1.000.000, dus 5 procent, en de geprojecteerde fout is nu € 300/5 procent = 6.000 euro. 

Wat een verschil, hè? Maar ja, appels en peren… Een postensteekproef geeft in deze voorbeelden 10 procent kans op een uitkomst € 3.000 (en 90 procent kans op uitkomst 0), een geldsteekproef geeft 5 procent kans op uitkomst € 6.000 (en 95 procent kans op 0) dus voor beide is de verwachte uitkomst: exact, 300, de gevonden fout. 

De postensteekproef in symbolen:
T posten hebben samen boekwaarde M en de steekproef van n is helemaal correct behalve bevat 1 post van x die y had moeten zijn. Het foutbedrag is x - y. 

De kans op selectie van deze post is bij een postensteekproef (n/T). Dus de geprojecteerde fout is, omdat dit de enige fout is en alle andere uitkomsten dus een bijdrage 0 leveren, gelijk aan (x - y) / (n/T) euro. Omdat alle andere waarnemingen correct zijn, kun je dit schrijven als T * (x - y) / n oftewel:

Aantal posten maal gemiddelde fout per steekproefpost bij een postensteekproef.

In het voorbeeld: 1.000 maal 300 gedeeld door 100 = 3.000. 

Nu de geldsteekproef:
De totale boekwaarde van de T posten is M. De kans op selectie van deze post van x is bij een geldsteekproef x * n / M (de kans hangt nu immers af van de boekwaarde van de post ten opzichte van de totale boekwaarde). 

Dus de geprojecteerde fout is nu:  (x - y) / (x * n/M) euro. Omdat alle andere waarnemingen correct zijn, kun je dit schrijven als (M/n) * (x - y) / x. 

We herkennen (M/n) als het selectie-interval voor de geldsteekproef, en (x - y) / x als de foutfractie (ook wel taint genoemd). De formule wordt dus:

Interval maal totale foutfractie bij een geldsteekproef.

In het voorbeeld: 10.000 maal 300 gedeeld door 500 = 6.000. 

Aap uit de mouw

Tot nu toe was het hopelijk simpel, maar nu komt de aap uit de mouw. Op het verkeerde been gezet door Tabel 5-1 van de AICPA Audit Sampling Guide 2014, zijn er accountants die deze twee methoden door elkaar halen en de steekproef onjuist evalueren door het totale foutbedrag in de steekproef (som(x-y)) te delen door het totale gecontroleerde bedrag (som(x)) en dan te vermenigvuldigen met de omvang van de te controleren post (M). 

In formule: som (x - y) / som(x) * M en dat is alleen gelijk aan T * som(x - y) / n als som(x) / n = X/T dus als de gemiddelde omvang van een post in de steekproef gelijk is aan de gemiddelde omvang van een post in de populatie. 

Bij een postensteekproef mag je daarop hopen, en als de steekproef netjes gestoken is zal dat gemiddeld ook zo zijn. Maar eigenlijk dus nooit. Deze onjuiste methode geeft dus een onzuivere schatting van de foutprojectie in een postensteekproef. 

Bij een geldsteekproef is het ondenkbaar dat de gemiddelde steekproefpost gelijk is aan de gemiddelde omvang van een post in de populatie. De steekproef is immers getrokken met kansen evenredig met de omvang van de posten en de gemiddelde steekproefpost is dus (veel) groter dan de gemiddelde populatiepost. Deze onjuiste methode deelt dus door een te groot gemiddelde een geeft dus een onderschatting van de geprojecteerde fout! 

Ik onderstreep deze foute manier van evalueren met nog een getallenvoorbeeld: de populatie van 10.000 posten is samen 1.000.000 waard. Een steekproef van 3 geeft:

Merk op dat de foute evaluatie gelijk is aan de correcte evaluatie van een postensteekproef, omdat de gemiddelde omvang van een steekproefpost 10.000 is!