Statistical Auditing (38)

Als ik niet kan goedkeuren - 6 tips

Steekproefcontrole wordt een stuk minder aantrekkelijk als de resultaten niet tot goedkeuring leiden. Het mogelijk vinden van fouten is waarschijnlijk de belangrijkste reden waarom steekproeven onder accountants minder populair zijn dan statistici hopen en verwachten.

Paul van Batenburg

Steekproefcontrole is een efficiënte manier om een populatie (jaarrekeningpost, transactiestroom, aangifte) die geen materiële fout bevat goed te keuren. Althans, als je je beperkt tot objectieve, reproduceerbare en valideerbare methoden. Wanneer je van die eis afstapt, zijn er natuurlijk goedkopere manieren om goed te keuren: tegen ‘professional judgement' kan wat dat betreft geen wetenschappelijk onderbouwde manier op.

Zodra er fouten worden gevonden vereist de COS dat die worden geëxtrapoleerd en dat die projectie ter correctie wordt voorgelegd aan de gecontroleerde. Deze eis geldt niet alleen voor statistische steekproeven maar voor alle vormen van detailwaarnemingen. De vraag die de accountant dan moet stellen en beantwoorden is tweeledig: is er voldoende werk gedaan om een oordeel over de verantwoording te geven, en wat zijn de gevolgen voor die verantwoording?

Wat nu als de accountant concludeert op grond van de gecontroleerde steekproef niet te kunnen goedkeuren. Wat dan?

  1. Keur niet ‘af', maar keur ‘niet goed'!
    Wie afkeurt, roept over zich af te moeten bewijzen dat er een materiële fout bestaat; wie niet goedkeurt, meldt slechts niet te kunnen aantonen dat de fout aanvaardbaar is. Laat het daarbij, dat is al erg genoeg!
  2. Ligt het aan te veel fouten of aan te weinig goede waarnemingen?
    Mijn advies: voeg de evaluatie bij 0 fouten altijd toe aan de evaluatie van de steekproefresultaten, zodat duidelijk is dat het niet goedkeuren ligt aan het vinden van te veel foute, en niet aan het vinden van te weinig goede waarnemingen!
  3. Uitbreiden is geen wondermiddel maar paardenmiddel
    Bij het uitbreiden van steekproeven na het vinden van fouten vindt u meestal gewoon nog meer fouten, dus alsnog goedkeuren zit er niet in. En als die extra steekproef opeens foutloos is, dan gebeurt dat bij een te lage betrouwbaarheid om te kunnen goedkeuren, want de kans op ten onrechte goedkeuren was in de eerste steekproef al 5% en wordt door die tweede steekproef alleen maar groter.
  4. Corrigeren, maar met welke tegenboeking?
    Elke keer als ik accountants vertel dat de geprojecteerde fout door de gecontroleerde moet worden gecorrigeerd, is er minstens een toehoorder die verzucht: "Dat wil (of mag, of kan) mijn klant toch niet". Jammer dan, het staat in de COS. Wat de accountant kan (en dus moet) doen, is er voor zorgen dat die geprojecteerde fout wordt berekend met de beste methoden en technieken en op basis van een steekproef die groot genoeg is om een zinnig oordeel te geven. Volgende tegenwerping is dat de klant dan vraagt die fouten per transactie te overleggen. Maar de accountant is niet de boekhouder. Een lastiger tegenwerping is dat er geen grootboekrekening voor de tegenboeking bestaat. Dat is gedeeltelijk waar: bij balansposten is die er meestal wel (voorziening), bij resultaatposten zal een correctie inderdaad direct het resultaat in moeten. Maar wat van de COS moet, moet.
  5. Maak er een incident van
    Om een homogene massa alsnog heterogeen te verklaren en dus apart te evalueren, is veel nodig. En het leidt niet tot een lager correctiebedrag, maar geeft alleen aan waar dat bedrag waarschijnlijk te vinden is (en dus de tegenboeking vandaan moet komen).
  6. Beter dan genezen
    Een hoop van de hierboven beschreven problemen kunnen worden voorkomen door gewoon vooraf wat meer werk in te plannen. De COS heeft hiervoor de toelaatbare afwijking bedacht, die lager mag zijn dan de uitvoeringsmaterialiteit waartegen de populatie wordt geëvalueerd. Wat ook werkt is vooraf met de gecontroleerde afspreken dat de geprojecteerde fout onverkort zal worden gecorrigeerd. Daarmee kan de steekproef zo worden opgezet dat de maximale fout na correctie aan de materialiteit voldoet.
    Een rekenvoorbeeld: het Directoraat-Generaal van de EU dat over landbouwsubsidies gaat, verwacht een steekproefcontrole door de lidstaten met 2% materialiteit en 95% betrouwbaarheid. De steekproefomvang is echter niet 150 (bij 0 fouten) want er moet een inschatting worden gemaakt van de vermoedelijke fout: is die 10% of 25% van de materialiteit? Bij 25% (van 2%, dus 0,5%) wordt de steekproefomvang 262 waarin 1,3 fouten mogen worden gevonden. Als we nu vooraf afspreken dat de geprojecteerde fout gecorrigeerd wordt, kunnen we de maximale fout op 2,5% stellen en valt de steekproef terug naar 185.

Ten overvloede: ook bij lagere betrouwbaarheden werkt dit, al vraag ik me af hoe dat valt te rijmen met het vinden van fouten.

Zoals altijd: op www.steekproeven.eu is een Excelsheet te vinden om alle berekeningen na te doen.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Gerelateerd

6 reacties

Hein Kloosterman

Beste Glenn, Ik zal proberen zo scherp mogelijk te formuleren. Professional Judgement is alleen dan toepasbaar als dat judgement gevalideerd kan worden. Alle andere vormen zouden niet moeten mogen. Beweringen op basis van enkel autoriteit of gorillageroffel kunnen wat mij betreft in de prullenbak. Een aanpak waarbij je de totaalpopulatie (totaalmassa) opdeelt in deelpopulaties (deelmassa's) is geen enkel probleem. Als je er een reden voor hebt (b.v. het controleert gemakkelijker): prima. Vooral doen. Wat je je wel moet afvragen of je je niet te veel werk op de hals haalt. Je moet je dus afvragen of er iemand van de stakeholders behoefte kan hebben bij een meer gedetailleerd inzicht. Misschien is er een groep stakeholders die een grotere nauwkeurigheid wenst, bijvoorbeeld. Neemt niet weg dat als het gaat om de goedkeuring van een financiële verantwoording er een goedkeuring moet zijn voor alle deelpopulaties en een goedkeuring voor de totaalpopulatie als geheel. Dus: probeer professional judgement te bannen. Als dat niet kan: laat hem alleen toe als je weet hoe je die mening kunt valideren (falsifiëren). Doe je dat niet dan ontstaat er een (vermijdbare en daardoor verwijtbare) weeffout in de aanpak.

Glenn Mungra

Correcties: - Met guldenmassa (in een steekproef) bedoel ik euromassa, sorry daarvoor. - En ik had uit zorgvuldigheid/duidelijkheid niet het begrip 'strata binnen de te controleren massa' niet als een soort algemeen begrip mogen gebruiken, buiten het kader van statistische steekproeven (tot dat inzicht ben ik gekomen dankzij het commentaar van Paul en Hein, waarvoor dank)

Glenn Mungra

AT:Hein: bedankt voor de correctie. Inderdaad, iedere gulden is na de geldsteekproef gewoonweg een gecontroleerde gulden ongeacht de guldenmassa waaruit het getrokken is. En de statistische methode geeft ongeldige resultaten als het niet wetenschappelijk zuiver gebeurt. Ik had dus niet moeten 'vloeken in de kerk' tegen echte statistici. Nog even over deze zin van jou: "..aanpak geschikt moet zijn om de conclusie te onderbouwen dat én het stratum dat onderzocht is goedgekeurd wordt én de samenvoeging van alle strata ook goedgekeurd kan worden." Ik leid hieruit af dat je bedoelt dat er 2 mogelijkheden zijn, waarvan slechts de eerste zuiver/goed is: - onderscheid in diverse strata via (uitsluitend of hoofdzakelijk met de steekproefmethode samenhangende) objectieve criteria. - onderscheid in diverse strata via 'professional judgement'. In het laatste geval wordt een 'goedkope' aanpak' 'linke soep'. Maar de statistische steekproef is slechts een hulpmiddel in het ruimere kader van een controleaanpak. Een controleaanpak betekent dat er zeker ook a priori sprake moet zijn van een opeenstapeling van ervaringen, waarnemingen, professional judgements en vooronderstellingen. De eis is dus niet alleen dat de stratificering zuiver/onderbouwd moet zijn, maar daarboven ook nog de controle aanpak als geheel die onderbouwd/verdedigbaar moet zijn. Dat laatste is trouwens nog een reden waarom de steekproef op zichzelf zuiver/onderbouwd moet zijn. Daarom gebied het gezond verstand mij om jouw opmerkingen zodanig te begrijpen dat er binnen het ruimere kader van de controle gewoon behoefte blijft aan 'professional judgement'. (Het mag alleen niet de statistische steekproef compromitteren)

Paul van Batenburg

AT:Glenn, jij hebt het over "die gevallen waar het allemaal niet zo wetenschappelijk zuiver hoeft". Die gevallen ken ik niet. Ik hoop jij ook niet. Verder denk ik dat jouw aanpak met het opdelen in strata wel eens kan sterven in schoonheid en gebaseerd is op wat je denkt te gaan tegenkomen en niet op wat je tegen komt. Mijn onderscheid tussen efficient en goedkoop heb je goed aangevoeld. Efficiënt is voor mij met zo min mogelijk werk maar wel bewezen effectief; goedkoop is voor mij met zo mij mogelijk werk in de hoop dat alles goed gaat.

Hein Kloosterman

AT:Glenn, Een column biedt de mogelijkheid om ‘tongue in cheek’ te schrijven. De mening over ‘professional judgement’ is in de Stuurgroep Statistical Audit homogeen: probeer dat ‘gereedschap’ te vermijden. Zo moet je volgens mij die volzin die je aanhaalde ook begrijpen. De aanpak van een controle moet dus vanuit wetenschappelijke invalshoek zo zuiver mogelijk zijn. De termen ‘efficiënt’ en ‘goedkoop’ zijn te interpreteren als respectievelijk een optimum (zo effectief mogelijk, gegeven de kostenrestricties) en een minimum (tegen zo laag mogelijke kosten, zonder verdere restricties). Het onderscheid dat je maakt in verschillende strata snap ik niet helemaal. Is het niet zo dat er a priori sprake is van een heel grote zak met geld die gecontroleerd moet worden? Dat die zak geld bestaat uit aan transacties gerelateerde elementen en uit schattingsposten? En dat je bij iedere deelverzameling gaat kijken welke technieken zo snel mogelijk leiden tot de conclusie dat die deelverzameling kan worden goedgekeurd? En dat de met die technieken vergaarde controle-informatie zo objectief mogelijk moet zijn? Bedenk dan bijvoorbeeld: - dat vooraf bedenken wat allemaal fout of goed zal zijn dikwijls tegenvalt; - dat (totaal-)verbandcontroles meestal te kwalificeren zijn als consistentiecontroles; - dat ik zelden deelpopulaties tegenkwam (en –kom) waarvan fouten gemakkelijk zijn te zien en te herstellen, of het moeten al heel kleine deelpopulaties zijn die integraal zijn te controleren; - dat het zoeken naar systematische fouten meestal meer werk oplevert dan het extrapoleren van de uitkomsten van een mathematische steekproef; - dat de beoordeling van ieder geselecteerd element vakkundigheid vraagt en complex kan zijn; en: de onzekerheid probeert men te reduceren door die mathematische steekproef; - dat homogeniteit als gevolg van de verschillen in omvang van de boekingen door geldsteekproeven is geneutraliseerd en de mate van nauwkeurigheid van de foutprojectie bij een statistische steekproef eenvoudig te berekenen is. Als je de term ‘efficiënt’ duidt zoals ik hierboven deed, kun je niet rommelen met de theorie rond de aanpak. Als je rommelt tendeert de aanpak naar ‘goedkoop’. In jouw slotzin lees ik dat het mogelijk moet zijn te stratificeren (opdelen in deelpopulaties) en per stratum de meest geschikte aanpak toe te passen. Lijkt me niets mis mee. Al moet je wel bedenken dat iedere vorm van aanpak geschikt moet zijn om de conclusie te onderbouwen dat én het stratum dat onderzocht is goedgekeurd wordt én de samenvoeging van alle strata ook goedgekeurd kan worden.

Glenn Mungra

Intrigerend artikel. Ik weet nog niet of ik je wel goed begrijp, maar hoor ik je tussen de regels door een voorstel doen? om het op een praktische, goedkopere hybride manier op te lossen (met een soort mengeling van professional judgement en objectieve, valideerbare methoden), in die gevallen waar het allemaal niet zo wetenschappelijk zuiver hoeft? Maar het kan natuurlijk zijn dat ik je nog niet helemaal begrijp. Eerst zeg je: 'Steekproefcontrole is een efficiënte manier om een populatie (jaarrekeningpost, transactiestroom, aangifte) die geen materiële fout bevat goed te keuren.' En verderop zeg je: 'Wanneer je van die eis afstapt, zijn er natuurlijk goedkopere manieren om goed te keuren: tegen ‘professional judgement' kan wat dat betreft geen wetenschappelijk onderbouwde manier op.' Mijn vraag is: haal ik efficient en goedkoop hier door elkaar? want volgens mij bedoel je hier dat professional judgement (ik lees: m.n. kritische steekproef) nog goedkoper is, als je de steekproef niet persé wetenschappelijk hoeft te onderbouwen. Maar ik hoop niet dat ik je nu ten onrechte woorden in de mond leg. Ik stel me dan voor dat je voor zo'n 'hybride' aanpak in de praktijk de te controleren massa doelbewust vooraf zoveel mogelijk onderscheidt in verschillende strata. Bijv. het onderscheid in daar waar je wel en waar je niet zonder de wetenschappelijke aanpak hoeft te controleren. nl. (deze opsomming is niet uitputtend bedoeld): - daar waar je wel resp. niet veel grote/materiële (financiële) fouten verwacht; - daar waar je in één klap een totaalcontrole of een controlerende verbandscontrole kan doen; - daar waar je eenvoudig individuele of opvallende fouten kunt herstellen; - daar waar de fouten een systematisch en homogeen patroon zullen vertonen bijv. door een systeemfout of dezelfde methodische fout gemaakt door een bepaalde functionaris of - fysieke omstandigheid; - daar waar de fout afhankelijk is van een grote mate van onzekerheid, kritische beoordeling, vakkennis of complexiteit; - daar waar de te controleren massa zeer homogeen is en een representatieve geprojecteerde fout nauwkeurig afgeleid kan worden (of in het omgekeerde geval: een bepaalde massa zich juist niet goed leent voor statistische steekproef). Via zo'n aanpak kan ik me inderdaad voorstellen dat de aanpak wat efficienter kan en dat je toch wel kan goedkeuren ondanks dat de resultaten van de steekproef tot afkeuren nopen voor een relevant deel van de massa. (In het ideale geval blijft er hooguit een kleine via steekproeven te controleren massa over waarin het gevonden en het geprojecteerde deel van de fouten bovendien zo mogelijk ook gecorrigeerd zijn.) Het nadeel is misschien wel dat je via de stratificatie vooraf doelbewust zou kunnen aansturen op een effciente uitkomst, maar op zich is daar niets mis mee denk ik. Ik vraag me overigens nog wel af: hoe denken anderen daarover? heiligt het doel (een efficiënte controle) wel de middelen (t.w. een doelbewuste afstemming van de aanpak gebaseerd op stratificatie van de te controleren massa o.b.v. de vooraf verwachte geschiktheid van de massa voor controle met een statische steekproef)?

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.