Statistical auditing (58)

Controle op controle revisited; korte beschrijving van mogelijke methodieken

Het is soms de moeite waard om ingewikkelde methoden toe te passen. Vooral wanneer er sprake is van controle op controle en degenen die in eerste instantie moeten beoordelen met complexe normstelling te maken hebben. Zo'n meer ingewikkelde methode is efficiënter dan de hele controle dunnetjes over te doen. Deze column laat vier modellen zien.

Wouter Gerards

Zoals kort beschreven in column 54 is het mogelijk dat een accountant gebruik maakt van het werk van anderen voor zijn (onafhankelijke) oordeel over een financiële verantwoording om hiermee aan efficiëntie te winnen. De accountant moet er echter zeker van zijn dat de ander een oordeel heeft gegeven dat overeenkomt met de doelstelling van zijn controle.

Voor een beter begrip van de situatie: de normen voor de controles waarover deze column gaat, zijn complex. Populair gezegd: fouten en verschillen in uitleg liggen op de loer.

In deze column ga ik van de volgende situatie uit: een financiële verantwoording is onderzocht door accountant A en deze heeft een uitgebreide steekproef uitgevoerd. Accountant B dient een uitspraak te doen over deze financiële verantwoording. B beoordeelt het werk van A om gebruik te kunnen maken van het reeds uitgevoerde werk van A en daarna een eigen oordeel te kunnen vormen over de financiële verantwoording.

Deze column geeft een beschrijving van vier modellen die B kan toepassen om gebruik te maken van het werk van A. Ik heb hierover een uiteenzetting gegeven in column 54 en op het Symposium Statistical Audit van 25 mei 2016. Ik probeer met deze column en de omschrijving van de modellen de complexiteit hiervan te reduceren.

Model 1: B maakt geen gebruik van het werk van A en trekt een eigen steekproef. Het komt erop neer dat B het onderzoek overdoet met eigen methoden en technieken, onafhankelijk van A. Er wordt dus een nieuwe steekproef getrokken en alleen de uitkomsten van de evaluatie daarvan worden met elkaar vergeleken.

Model 2: B doet het werk van A over. Hier gebruikt B de trekking van A, beoordeelt dezelfde elementen en gaat, als er een verschil is met wat A constateerde, model 1 toepassen; een nieuwe steekproef trekken en controleren dus.

Model 3: B doet een steekproef op het werk van A. Hierbij doet B een kleinere steekproef op de reeds uitgevoerde steekproef van A. Indien A een uitgebreide steekproef heeft uitgevoerd, kan B een steekproef op de eerste steekproef doen om een uitspraak te doen over de financiële verantwoording. Dit model staat beschreven in het proefschrift van Raats1. In dit model worden posten/euro’s gecontroleerd die alleen kunnen worden goed- of afgekeurd. B kan dus posten/euro’s goed- of afkeuren van de elementen die door A zijn goed- of afgekeurd2. Aan de hand van deze bevindingen kan B een uitspraak doen over de financiële verantwoording.

Het voordeel van deze methodiek is dat er een uitspraak wordt gedaan over de betrouwbaarheid van het werk van A en hierdoor zijn werk (de grotere steekproef) gedeeltelijk kan worden gebruikt. Dit houdt in dat de schatting nauwkeuriger is dan wanneer B sec een steekproef (met hetzelfde aantal steken) had gedaan op de massa. Er is dus efficiëntiewinst; een grotere nauwkeurigheid met evenveel werk of anders vertaald: dezelfde nauwkeurigheid met minder werk (van B)!

Bij model 3 moet er rekening mee worden gehouden dat de 95% zekerheidsgrens van B altijd hoger zal zijn dan die van A. Het verschil zit in de aannames die worden gedaan in de verschillende modellen. B doet een steekproef (2) op steekproef (1) van A. Steekproef (2) heeft alleen toegevoegde waarde als er onzekerheid is over de bevindingen van A. Deze onzekerheid leidt ertoe dat de zekerheidsgrens van steekproef (2) altijd hoger is dan die van steekproef (1), ook al zijn al de bevindingen binnen steekproef (2) identiek aan de bevindingen van steekproef (1).

Model 3 heeft praktische minpunten. Er kan alleen goed- dan wel afgekeurd worden. Een bevinding is alleen goed of fout. Er wordt geen uitspraak gedaan over de grootte van de fouten.

Model 4: Het vierde model maakt gebruik van een regressieschatter. Een regressieschatter maakt gebruik van de relatie tussen de SOLL-posities en de IST-posities. In het ideale geval zijn die posities aan elkaar gelijk. Er loopt dan een 45-graden lijn door de oorsprong. De beschreven regressieschatter wijkt af van de ‘normale’ regressieschatter omdat de regressie in 2 fasen3 wordt uitgevoerd; een tweetrapsraket als ware.

Fase 1: De bevindingen van steekproef (1), dus de SOLL (1) posities van A, worden door B als IST-posities gebruikt (onafhankelijke variabele). De paren SOLL (1) en SOLL (2) worden nu gebruikt om een regressieberekening uit te voeren. De uitkomsten van die berekening laten zien hoe SOLL (1) en SOLL (2) van elkaar afwijken. Met andere woorden: B kan de onnauwkeurigheid in de controle van A vaststellen.

Fase 2: Vervolgens worden deze resultaten gebruikt vanuit de eerste regressie om voor de hele steekproef van A de SOLL (2) te schatten. Deze geschatte SOLL-posities worden tot slot gebruikt om het verband met de IST en SOLL (2) te schatten aan de hand van een tweede regressie. De uitkomsten van deze berekeningen laten zien hoe SOLL (2) en IST van elkaar afwijken. B kan nu op basis van zijn eigen bevindingen (lees onafhankelijk) een oordeel vormen over de financiële verantwoording.

Het nadeel van deze variant is dat de regressieschatter gebruik maakt van een afhankelijke variabele met een onzekerheid (een stochast4). Daarbij is bovendien niet vooraf – bij de planning – te voorspellen hoeveel werk er moet worden gedaan om een voldoende nauwkeurige uitkomst te krijgen.

De conclusie: er zijn mogelijkheden om werk te verminderen door gebruik te maken van het werk van anderen. Het rekenwerk is echter aanzienlijk meer complex en dat moet niet worden onderschat.

  1. Raats, V. M. (2004). Monotone missing data and repeated controls of fallible authors, Tilburg: CentER, Center for Economic Research; internet: https://pure.uvt.nl/ws/files/617783/thesis4b.pdf
  2. Dit houdt in dat accountant B iets goedkeurt dat ook de accountant A heeft goedgekeurd, hij keurt iets af dat accountant A heeft goedgekeurd, hij keurt iets goed dat accountant A niet heeft goedgekeurd of, tenslotte, hij iets niet goedkeurt dat accountant A ook niet heeft goedgekeurd.
  3. Niet te verwarren met een 2-step least square regressie.
  4. Normaliter bestaat bij regressieschatters de afhankelijke variabele uit observaties en niet uit schattingen. Hiermee dient rekening te worden gehouden bij het schatten van de regressie. Dit kan worden gecorrigeerd door meerdere regressies uit te voeren voor verschillende waarden van de error term vanuit de eerste regressie.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Wouter Gerards is werkzaam bij het Agentschap Sociale Zaken en Werkgelegenheid. Zijn hoofdtaak is het ontwerpen van steekproeven en de daarbij behorende controleonderzoeken.

Gerelateerd

4 reacties

Geert de Jonge

Beste Wouter,

Dank je wel en prima zo.

Wouter Gerards

Hallo Geert,

Ik zou deze week nog terug komen op mijn reactie. Ik heb de literatuur nageslagen en ben tot de conclusie gekomen dat ik geen verdere toevoegingen heb bij mijn reactie van 1 november.

Is jouw vraag adequaat beantwoordt?
Of zijn er nog onduidelijkheden?

Wouter Gerards

Hallo Geert,

Bedankt voor je vraag. Helaas moet ik het volledige antwoord verschuldigd blijven tot in de week van 14 november. Ik ben buiten Europa zonder computer en fatsoenlijk internet.

Onder voorbehoud en uit het blote hoofd.

Ten eerste een korte note op de kolom (model 3) om eventuele Babylonische spraakverwarring te voorkomen. Als ik schrijf dat er slechts goed of afgekeurd kan worden, heeft dit betrekking op de bevindingen van de gecontroleerde posten /euro's. Aan de hand van deze bevindingen wordt een meest waarschijnlijkelijke fout berekend met een bijbehorende maximale fout (normaliter 95% boven grens) die betrekking heeft op de totale financiële verandwoording. De beperking zit in de mogelijkheid van de bevinding van een waarneming; een gecontroleerde post/euro is 100% goed of 100% fout er is geen tussenweg mogelijk.

De methodiek beschreven in de kolom is in grote lijnen de methodiek beschreven in het proefschrift. In het proefschrift wordt inderdaad door de 'expert' o.a. de false positive and true positive bepaald (maar ook de false negative en true negative).

De toegevoegde waarde in complexiteit heeft te maken met de toepasbaarheid van een model/methode. Hoe complexer een model/methode, de meer situaties deze toepasbaar op is. Bijvoorbeeld, het model is breder toepasbaar indien het mogelijk is om (ook) false and true negatives toe te laten.

Uit mijn hoofd zeggend zijn praktisch alle modellen/methodieken die te maken hebben de feilbaarheid van auditors te leiden naar het model beschreven in het proefschrift. Echter, kan een model worden versimpeld door (weldoordachte) aannamen te doen. Door aannamen te doen worden mogelijkheden uitgesloten waardoor een model versimpleld en makkelijker toepasbaar is.

Geert de Jonge

De beschrijving van model 3 doet me denken aan binaire classificatie waarbij de feilloze expert de false positive rate en de true positive rate bepaalt. Hoe verhoudt zich deze eenvoudige methode met de methode die in het proefschrift wordt beschreven en in ieder geval een stuk ingewikkelder lijkt. Wat is daarvan de meerwaarde als alleen kan worden goed- of afgekeurd en er geen uitspraak wordt gedaan over de grootte van de fouten?

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.