Ferry Geertman en Hein Kloosterman

Een tijdje geleden zijn wij begonnen met een kleine serie over het evalueren van steekproeven. De aanleiding voor die serie komt uit de praktijk. De praktijk wil namelijk steekproeven controleren die zo klein mogelijk zijn, maar ook nog kunnen goedkeuren als die steekproeven een paar foutjes bevatten. 

Om te kunnen goedkeuren is het nodig dat de berekende bovengrens voor het foutbedrag in de populatie kleiner is dan de goedkeuringsgrens. Wij nemen even aan dat die goedkeuringsgrens gelijk aan de materialiteit is. Natuurlijk duiken wij in de vakliteratuur om te zien welke middelen ons ter beschikking staan om die bovengrens op een verantwoorde manier zo klein mogelijk te krijgen. 

Conservatief

In de literatuur die wij raadpleegden is geprobeerd om met een echt gecontroleerd bestand of met een nagemaakt gecontroleerd bestand te kijken hoe conservatief de verschillende evaluatiemethoden zijn. Met conservatief wordt dan bedoeld dat in minimaal 95 van de 100 getrokken steekproeven de berekende bovengrens 95 procent betrouwbaarheid hoger is dan de werkelijk aanwezige fout. 

Wat ons daarbij is opgevallen is dat er vooral twee soorten gecontroleerde gegevens (echt of namaak) worden gebruikt. De ene soort betreft gegevens van voorraadcontroles en de andere soort gegevens gaat over de resultaten van het versturen van saldobiljetten. 

Geen transactiestromen

We noemen een paar voorbeelden van dergelijke literatuur (Leslie, D.A., Teitlebaum, A.D., Anderson, R.J. (1979), Dollar unit sampling, Copp, Clark & Pitman, Toronto. G.S. Bringle, 1986, A study of upper error limits in accounting populations, Airforce Institute for Technology US (AD-A174 172). Bij hun onderzoek maken de schrijvers gebruik van een populatie die, echt of als het ware, integraal gecontroleerd is. Daaruit trekt men vervolgens een heleboel keren een steekproef. Men past verschillende evaluatiemethoden toe en komt tot de conclusie dat sommige methoden tot een conservatief resultaat leiden, sommige methoden een ‘onvoldoende’ scoren en dus, op deze populatie althans, niet bruikbaar zijn en nog weer andere methoden wel conservatief genoeg zijn, maar nog leiden tot te grote steekproeven. 

Dergelijke onderzoeken zijn waardevol omdat de echte fout in de populatie bekend is. Nadeel van deze onderzoeken is dat ze niet gaan over het onderzoeken van transactiestromen. 

Toetsen

In een ander artikel over steekproeven en accountantscontrole (Panel on Nonstandard Mixtures of Distributions of National Research Council (1988), Statistical Models and Analysis in Auditing, National Academy Press, Washington D) wordt de conclusie getrokken dat een boekhoudpopulatie - een transactiestroom, zeg maar - doorgaans nauwelijks fouten bevat. Daardoor zijn er voor het nauwkeurig schatten van de fout in de populatie heel veel waarnemingen nodig. Het artikel adviseert om niet te gaan schatten, maar te gaan toetsen. Met een steekproef die net groot genoeg is om te kunnen goedkeuren is het niet nodig om een schatting van onder- en bovengrenzen te geven, maar is het voldoende om een bovengrens (upper error limit; een worst case) uit te rekenen en die grens te vergelijken met de toegestane afwijking voor de desbetreffende populatie.

Deze methode heeft als groot voordeel dat de steekproef zo klein mogelijk is, gegeven de kans op ten onrechte goedkeuren. Bovendien doet op deze manier de kans op ten onrechte niet goedkeuren er niet meer toe. Strikt genomen is die nihil. Uit dit artikel hebben wij afgeleid dat bij veel onderzoek naar het conservatisme van verschillende evaluatiemethoden bestanden zouden zijn gebruikt waarin er sprake is van een geringe foutdichtheid.

Stringer Bound

In column 26 verwezen wij naar het overzichtsartikel van de Stuurgroep Statistical Audit. Een van de wensen bij de aanvang van de Stuurgroep was, zo valt daar te lezen, het onderzoeken van het conservatisme van de meest gebruikte manier van evalueren, de zogenoemde 'Stringer Bound' (de door K.W.Stringer in 1960 geopperde manier om de bovengrens te berekenen). 

Behalve het theoretisch bewijs dat de Stringer Bound conservatief is (als het gebruikte betrouwbaarheidspercentage groter is dan 50 procent) en dat er ook iets complexere methoden nog conservatief genoeg zijn, meldt dat overzichtsartikel een onderzoek van Schapendonk (1998) (Helma Schapendonk - Maas (1998); Betrouwbaarheidsbovengrenzen en steekproeftechnieken in accountancy; stageverslag Katholieke Universiteit Nijmegen.) dat gebruikmaakt van een nagemaakt bestand met een geringe foutdichtheid en een artikel van Lucassen et al. (1996) (Modifications of the Stringer bound; A simulation study on the performance of audit sampling evaluation methods (1996); Lucassen, A., Moors, J.J.A., van Batenburg, P.C.; Kwantitatieve Methoden, pp. 17-25). De datasets die Lucassen et al. hebben gebruikt zijn die van Neter en Loebecke (1975) (Neter, J., Loebecke, J.K. (1975); Behavior of Major Statistical Estimators in Sampling Accounting Populations: An Empirical Study. Auditing Research Monograph no. 2, New York: AICPA). 

Die bestanden zijn gebaseerd op een administratieve dataset waarin verschillende foutdichtheden zijn ingebracht (van 0,5 tot 70 procent). Ook nagemaakte bestanden dus. Lucassen et al. gebruikten voor hun onderzoek de bestanden met een geringe foutdichtheid. In een eerdere column hebben we de uitkomst van het onderzoek van Lucassen et al. toegepast (column 52); die noemden we de EVA-methode. Zelf noemen zij die methode Amount Tainting Order (ATO). 

Soorten steekproeven

In het overzichtsartikel is een lans gebroken voor het toepassen van verschillende soorten steekproeven, afhankelijk van de aard van de deelpopulatie (de post van de jaarrekening of de verzameling posten). Voorgesteld wordt a priori geldsteekproeven te gebruiken en wanneer er sprake is van veel fouten een type postensteekproef te gebruiken om een uitspraak in geld te kunnen doen. 

Wij zijn dus op zoek naar integraal gecontroleerde bestanden die gaan over een transactiestroom. Dergelijke bestanden bevatten doorgaans weinig fouten. 

Onze vraag is: wie van u heeft zo’n bestand tot zijn beschikking? 

Vervolgstap is dan dat wij als stuurgroep daarmee onderzoek kunnen (laten) doen om de beschikbare statistische methoden beter te begrijpen en wellicht meer methoden vinden om de bovengrens nog minder conservatief te berekenen.