Statistical auditing (52)

Leren evalueren

Er is veel gepubliceerd over evalueren van steekproeven. In onze columns hebben we er ook werk van gemaakt. Meestal ging het dan niet om concrete voorbeelden, maar om zaken als isoleren (mag niet), taintings (gelukkig niet helemaal fout) en meer werk gaan doen om beter te kunnen schatten.

Hein Kloosterman en Ferry Geertman

Nu is het tijd voor een concreet voorbeeld om aan te geven hoe men kan omgaan met het conservatisme in de berekening van de bovengrenzen op basis van de uitkomsten van de steekproef.

Zoals in eerdere columns uitgebreid aan de orde is geweest, plegen steekproeven zo te worden opgezet dat zo snel mogelijk kan worden goedgekeurd. Dat betekent dat er een steekproefomvang als uitgangspunt is genomen die zo is berekend dat die steekproef geen fouten mag bevatten.

In controletermen: alleen bij nul aangetroffen fouten is de maximale fout van de gecontroleerde subpopulatie kleiner dan of gelijk aan de goedkeuringsgrens (uitvoeringsmaterialiteit). Die nul-fouten-verwachting is een vrij algemeen uitgangspunt in de aanpak van accountants.

Stel dat de parameters in de controle als volgt waren:

  • Audit risk: 5 procent;
  • Uitvoeringsmaterialiteit voor de onderzochte populatie: 135.000;
  • Toegelaten afwijking = controletolerantie = MP = 105.000;
  • Er is geen risicoanalyse toegepast (dus geen reductie van de steekproefomvang).

Uit de theorie (Poissonverdeling) volgt dat de factor R drie bedraagt bij een audit risk van 5 procent en 0 fouten. Uit dezelfde theorie volgt dat het interval (de intensiteit waarmee de controle plaatsvindt) wordt berekend als MP/R = 105.000 / 3 = 35.000.

Rek# Geboekt bedrag Conclusie na controle Fout# Fout totaal Tainting
47500 1.364,52 87,50 privé 1 87,50 0,0641
41400 32.971,81 Onderhoud activa; 1/3 te activeren 2 10.990,60 0,2837
40250 159,20 19,11 privé-uitgaven 3 19,11 0,1200
15230 3.250,00 Ten onrechte niet geactiveerd 4 3.250 1.0000
    Som relatieve fouten (taintings)     1,4678
Projectie Interval = 35.000 Som taintings * interval     51.373,00
Maximaal (ruwe methode) (4,75 + 1,55*0,4678) * interval     191.628,00
Grens         135.000,00

Voor bovenstaande berekening is relevant dat de uitkomst van de Poissonverdeling bij 1 fout R = 4,75 en bij 2 fouten R = 6,30 laat zien. Die waarden verklaren de berekende bovengrens van 191.628. Immers 3 voor de nullast en 1,75 maal de som der taintings, wordt vermenigvuldigd met het interval. De aangroei van R bij één fout tot R bij twee fouten is 6,30 minus 4,75, ofwel 1,55. De bovengrens is dus (zie tabel hierboven) 4,75 maal het interval plus 0,4678 maal 1,55 maal het interval. Kortom, die 191.628.

Omdat deze methode vrij ruw is en dus erg conservatief, kijken we naar de next best optie en dat is de zogenoemde Stringerbound. Die bovengrens is ook conservatief, maar houdt rekening met de dalende stijging van de Poissonverdeling.

Fout# Foutbedrag Tainting Stringer PGW MF
4 3.250,00 1,0000 1 1,75 1,75
2 10.990,60 0,2837 2 1,55 0,439735
3 19,11 0,1200 3 1,46 0,1752
1 87,50 0,0641 4 1,40 0,08974
             
    1,4678 Nullast: 3,00 3,00
        Totaal: 5,454675
        In geld 190.914,00

Uit deze tabel wordt duidelijk dat voor de berekening van de Stringerbound de aflopende volgorde van de taintings bepalend is. Door de dalende afname van de PGW (= precision gap widener) is de bovengrens lager dan bij de ruwe methode.

We laten nog een berekeningsmethode zien. Deze methode zet de fouten in afnemende volgorde van hun omvang:

Fout# Foutbedrag Tainting EVA PGW  MF
2 10.990,60 0,2837 1 1,75 0,496475
4 3.250,00 1,0000 2 1,55 1,55
1 87,50 0,0641 3 1,46 0,093586
3 19,11 0,1200 4 1,40 0,168
           
    0,9678 Nullast: 3,00 3,00
        Totaal: 5,30861
        In geld 185.783,00

Deze methode van evalueren (noemen we EVA-methode) is onderzocht en voldoende conservatief bevonden.

We zien dus dat de bovengrens al lager wordt door de keuze van het rekenwerk, maar nog niet laag genoeg om direct te kunnen goedkeuren.

Maximale fout ruwe methode: 191.628
Stringerbound methode 190.914
EVA-methode  185.783

Stel dat de cliënt had aangeduid dat hij bereid was de foutprojectie te corrigeren. Dan was de opstelling als volgt:

Maximale fout ruwe methode -/- projectie: 191.628  -51.373  140.255 
Stringerbound methode 190.414 -51.373  139.041 
Stringerbound methode 185.783 -51.373  134.410 

 Hé, bij de EVA-methode kan precies worden goedgekeurd!

Wat is de les uit deze opstellingen? Als de maximale fout groter is dan de materialiteit kan de accountant (nog) niet goedkeuren. Hij moet dan aanvullend bewijs vergaren. Dat kan hij doen door het berekenen van een scherpere bovengrens van de fout. En dat kan hij doen zoals Paul van Batenburg in de columns 12 en 38 uiteenzet: het door de klant laten corrigeren van de projectie.

In dit voorbeeld is er voldoende ruimte gecreëerd tussen de uitvoeringsmaterialiteit (gebruikte goedkeuringsgrens van 135.000) en de controletolerantie (105.000) om de correctie effect te laten hebben: als de EVA-methode wordt toegepast kan er worden goedgekeurd.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Hein Kloosterman RE RA, gepensioneerd adviseur IT-audit en Statistical Audit. Lid van de Stuurgroep Statistical Auditing.

Ir. Ferry Geertman RE CISA is managing director bij de KEY Group.

Gerelateerd

10 reacties

Willem Gravesande

@Hein Kloosterman 4 april 2016: Op https://www.ndax.nl/drive/RJ/HEV2016.pdf is een praktische handreiking voor toepassing van NL GAAP te vinden. Een audit van de daarin gegeven wettelijke bepalingen en richtlijnen is breder dan het uitvoeren van statistische evaluaties van steekproeven. Datascience is o.i. zeer geschikt als aanpak en inspiratiebron bij de uitvoering van het geautomatiseerde deel van deze audits. De gegeven reacties zijn niet bedoeld als waardeoordeel over de gegeven statistische methoden bij het evalueren van steekproeven.

Hein Kloosterman

@Willem Gravesande
Mijn laatste reactie naar jou. Je laat niet zien welke wiskunde er bij jouw beweringen hoort. Je laat nog minder zien hoe die toverdoos, die je data science noemt, in het kader van de evaluatie van een steekproef zou kunnen werken. Ik heet iedere reactie welkom, maar des te meer welkom als die op de column slaat.

Willem Gravesande

@Hein Kloosterman 3 april 2016: Met statistische analyse ga je uit van een vast model en met datascience kun je een model (ook geautomatiseerd laten) afleiden. Daarmee ben je flexibeler.

Hein Kloosterman

Beste Willem,
Ik zie dat jij ook gelooft in data-analyse. Welke data-analyse? Statistiek? Of een ander begrip?
Het gaat Ferry en mij om de verschillende mogelijkheden van evalueren van steekproeven met betrekking tot accountantscontrole op een rij te zetten. Daarbij willen we verschillende evaluaties naast elkaar zetten. Dat heeft niets met data-analyse te maken.

Willem Gravesande

@Hein Kloosterman 1 april 2016: "Ik snap jouw reactie niet helemaal."

Leren evalueren kun je met Datascience ook op een geheel andere manier (door de komputer laten) doen, zie bijvoorbeeld https://www.accountant.nl/nieuws/2016/3/kpmg-gaat-ibms-watson-inzetten-voor-data-analyse/

Hein Kloosterman

@Paul:
Dat krijg je als je een voorbeeld overneemt en niet kopieert en plakt. Even scheel kijken en er staat een verkeerd bedrag. Het bedrag van de geboekte waarde had (afgerond) € 38.740 moeten zijn.
Ben benieuwd hoe je de bekende fouten in een formularium opneemt om een lagere bovengrens te krijgen.
Inderdaad: als er gerekend wordt met de binomiale verdeling en niet met de Poisson-benadering verklein je de bovengrens enigszins. Met rekenen aan de hypergeometrische verdeling nog iets meer. Mits de populatie niet al te groot wordt (is hier niet gegeven maar de te controleren uitgavenstroom bedroeg 134.795.000,--).
Benieuwd naar de uitkomst met de hypergeometrische verdeling.
@Willem:
Ik snap jouw reactie niet helemaal. De meeste mensen die zich met statistical audit bezig houden weten dat auditing multidisciplinair is. De optimaliseringsvraagstukken die bij auditing spelen kunnen in de sfeer van operational research geplaatst worden. Dit vakgebied impliceert de vakgebieden die je noemt en meer (zoals netwerk-theorie).

Willem Gravesande

@Paul van Batenburg 31 maart 2016: Dank voor de reactie. De gegeven reactie verwijst naar de toepassing van Datascience bij audits. Datascience bestaat uit meer dan alleen uit Statistiek, maar bijvoorbeeld ook uit Wiskunde, Informatica, Communicatie, Domein expertise (bijvoorbeeld accountancy), Data presentatie en Kunstmatige Intelligentie.

Paul van Batenburg

@Willem: om er nou gewoon maar een statistiekboek tegen aan te gooien is een beetje een telefoonboek geven aan iemand die zich eenzaam voelt.
Een lekker ochtendje programmeren (inderdaad, met statistiek!) zorgt er voor dat ik de hypergeometrische verdeling in het gegeven voorbeeld kan gebruiken. Bij een populatie van 10M (die heb je immers nodig bij die verdeling) is de maximale fout nog maar 173K, dus toch al zo'n 10% lager dan de eerst genoemde uitkomst.

Willem Gravesande

Op https://www.ndax.nl/drive/BD/DDS.pdf is achtergrond info te vinden om een ander perspectief op deze problematiek te krijgen. Statistiek is hier ook het belangrijkste onderdeel van, zie bijvoorbeeld Fig. 1-3.

Paul van Batenburg

Beste Hein en Ferry:
is de tainting van fout nummer 2 wel 28,37% en niet 33,33%?
Als ik blijf rekenen met 28,37% kan ik de maximale fout terugbrengen tot 180K (ik rond graag wat af) door er mee rekening te houden dat er naast de gestoken euro's ook niet gestoken euro's gecontroleerd zijn waardoor het bedrag waarover de onzekerheid moet worden bepaald kleiner is. Volgende stap zou zijn de Poissonverdeling te vervangen door de binomiale of zelfs hypergeometrische verdeling omdat we immers steken zonder terugleggen. Dat kost nogal wat programmeerwerk maar voor het goede doel halen we graag alles uit de kast!

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.