Statistical Auditing (93)

De pilotsteekproef: een gids die je ook de verkeerde weg kan wijzen!

Deze column gaat over pilotsteekproeven. Hiervoor wordt vaak uit de (statistisch) losse pols een omvang van 25 voorgesteld. Deze column illustreert dat een kleine pilotsteekproef in een administratieve context kan leiden tot non-informatie.

Bij sommige schattingsmethoden voor het evalueren van steekproeven heeft het zin om vooraf een indicatie te hebben van de spreiding tussen de (nog te vinden!) foutbedragen. Als we die spreiding zouden weten, konden we uitrekenen hoeveel waarnemingen nodig waren om de maximale fout aan de (uitvoerings)materialiteit te laten voldoen. Om een indicatie van deze spreiding te krijgen wordt dan wel een pilotsteekproef aangeraden. Op basis van de geschatte spreiding in die pilotsteekproef wordt dan bepaald of, en zo ja hoeveel, aanvullende waarnemingen nodig zijn. Maar hoe groot kies je zo'n pilot? Vaak wordt dan het vertrouwde aantal van 25 van stal gehaald.

Wat kan hier mis gaan?

Een voorbeeld:
De te controleren populatie in geld bevat 4 procent posten met fouten. Dat betekent nog niet dat de geldpopulatie ook 4 procent fouten bevat want niet alle posten hoeven 100 procent fout te zijn. Een pilot van 25 posten zal naar verwachting één fout opleveren. Als dat gebeurt kunnen we een schatting maken van de spreiding tussen de foutbedragen en die gebruiken om de aanvullende steekproefomvang te bepalen.

Echter, de kans op nul fouten in een steekproef van 25 uit een populatie met 4 procent fouten is 0,36. Met 36 procent kans zal deze pilot dus nul posten met fouten opleveren. Maar de conclusie is dan dat er geen aanvullende waarnemingen meer nodig zouden zijn omdat de spreiding tussen de foutbedragen 0 is.

De kans dus dat deze pilot van 25 leidt tot een te kleine steekproef is 36 procent. Hierbij een tabel met meer uitkomsten (die laten zien dat het nóg erger kan):

Statistical Auditing (93) - afbeelding 1 900x590px

Hoe het dan wel moet: 'Sla de pilotsteekproef over!'

Al in de jaren tachtig van de vorige eeuw heeft prof. J. Kriens met collega's van de Universiteit van Tilburg* simulatiestudies gedaan op integraal gecontroleerde voorraden. Voorraad is een typisch voorbeeld van een populatie met fouten naar twee kanten waar je de spreiding tussen de foutbedragen nodig hebt voor de evaluatie. Om de noodzakelijke omvang vooraf in te kunnen schatten zou je die spreiding dus ook willen weten bij opzet van de steekproef. Stelden de auteurs voor een pilotsteekproef te doen? Nee, zij kwamen tot drie, andere, conclusies:

  1. dat bij zo'n 150 tot 180 waarnemingen men meestal voldoende fouten vindt voor een bruikbare schatting van de spreiding tussen de foutbedragen. Voor alle zekerheid adviseer ik daarom meestal 200 waarnemingen;
  2. dat er dan zelden aanvullende waarnemingen nodig zijn omdat achteraf blijkt dat de werkelijke spreiding voldoende nauwkeurig en betrouwbaar is geschat. Het is dus beter om de pilot over te slaan;
  3. dat hoe minder fouten de populatie bevat, des te meer waarnemingen er nodig zijn om zeker te weten dat een steekproef (met ook weinig fouten) representatief is. En andersom: een populatie met heel veel fouten kan met een kleinere steekproef (zeg, honderd waarnemingen) worden gecontroleerd.

Die derde conclusie heeft een interessante consequentie. Vaak zullen accountants op basis van het risicoanalysemodel de steekproef verkleinen als weinig fouten verwacht worden. Hier geldt juist dat bij weinig verwachte fouten de steekproef groter moet zijn. Het verschil is dat het risicoanalysemodel gebaseerd is op een toetsing (de stelling dat de populatie een materiële fout bevat wordt pas verworpen bij voldoende correcte waarnemingen) en we nu bezig zijn met een schatting (de accountant neemt aan dat de populatie geen materiele fout bevat, tenzij de steekproef te veel en te grote fouten oplevert). Doel van de steekproef is nu geen toets of de fout aanvaardbaar klein is, maar een zo nauwkeurig mogelijke schatting van de fout.

* Kriens, J. & Timmermans, H. & Wildenberg, H. & Kleijnen, Jack. (1989). Regression Sampling in Statistical Auditing: A Practical Survey and Evaluation. Tilburg University, Open Access publications from Tilburg University. 43. 10.1111/j.1467-9574.1989.tb01262.x.

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Gerelateerd

8 reacties

Aad Spee

Interessante materie en discussies. Het stelt me enigszins gerust dat hier discussie is over statistische onderwerpen. Als niet-accountant heb ik jaren vaak met accountants samengewerkt in een interne auditdienst. Tot mijn schrik ontdekte ik dat men in het algemeen geen kennis had van zelfs de meest basale statistiekaspecten. Daar zat men niet erg mee want de afdeling kwaliteit leverde vaste oplossingen voor diverse categorieën situaties. Met vaste steekproefgroottes als voorbeeld van hoe je tot verkeerde inzichten komt. Het onderkennen van biases bij steekproefsamenstellingen was ook een onbekend terrein en zo kan ik nog wel even doorgaan. Misschien gaat het tegenwoordig in de opleidingen beter. Zo niet, dan is het hoog tijd om er iets aan te doen.

J.N. Weezenberg RA

Geachte auteurs,

Ik lees:
*Accountancy studenten op de Universiteit Maastricht worden hiermee opgeleid.

*Gelukkig krijgen accountancy studenten deze kant van het verhaal oosten horen, op 26 november.

*Studenten van de UM verdienen beter.

Bijzonder trieste discussie ! !

Volgens mij niet cfm. spelregels voor debat (zie aldaar).

Vriendelijke groet,
J.N. Weezenberg RA

Paul van Batenburg

Beste Ron: de tool waar jij naar verwijst is bedoeld om een percentage te schatten. De omvang van de steekproef hangt altijd af van de spreiding maar die is in dit geval een functie van datzelfde percentage. De schatttingsmethode waar ik het over heb gaat over het schatten van een bedrag. Dan heb je een indicatie nodig van de standaarddeviatie. Daarvoor wordt dan vaak een pilot gebruikt. Jouw tool heeft dat niet nodig omdat bij percentages de spreiding nooit groter wordt dan 0,5 gedeeld door de wortel uit de steekproefomvang. Met behulp van de theorie van het toetsen laat ik de nadelen van een pilot zien. Als je meer wilt weten, kijk dan op mijn website steekproeven.eu, ook over wat je wel en wat je niet met data analyse kunt.
Studenten van de UM verdienen beter.

Paul van Batenburg

Ron, pak eens een statistiekboek er bij en kijk eens naar het verschil tussen schatten en toetsen.
Welke discussie wil je nu met mij voeren? Over de noodzakelijke omvang van een steekproef of over de vraag of steekproeven overbodig zijn dankzij dat tool dat je propageert?

Ron Heinen

Hieronder het voorbeeld uit de column ingevuld in de sample size calculator:

Een sample size van 25 geeft een Confidence Interval van 19.6%.

Een sample size van 200 geeft een Confidence Interval van 6.93%.

Een sample size van 600 geeft een Confidence Interval van 4%.

Wanneer je streeft naar een confidence interval <= percentage fouten (4%) dan is 200 samples onvoldoende. Je hebt dan minimaal 600 samples nodig.

Ron Heinen

@Paul van Batenburg: Dank voor je reactie. Op de link

www.surveysystem.com/sscalc.htm

kun je een programmaatje vinden om de sample size te berekenen voor een random steekproef.

In de laatste paragraaf kun je lezen dat de confidence parameters onafhankelijk zijn van de population size mits de steekproef random is en kleiner dan een paar procent van de populatie.

Paul van Batenburg

100% controle is alleen mogelijk als de soll positie digitaal voorhanden is. En wie zegt dat die juist en volledig is?
Gelukkig krijgen accountancy studenten deze kant van het verhaal oosten horen, op 26 november.

Ron Heinen

Dank voor de uitleg en referenties.

De huidige Audit Data Analytics (ADA) trend is 100% controle.

Met de huidige computers is dit geen enkel probleem.

Mindbridge.ai is een voorbeeld waarmee dit kan.

Accountancy studenten op de Universiteit Maastricht worden hiermee opgeleid.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.