Statistical auditing (51)

Conservatisme en Statistiek

Met de Amerikaanse verkiezingen in aantocht worden we met de termen conservatief, conservatisme en conservatieven om de oren geslagen. Vaak begrijpen we dit als 'star', 'niet open voor veranderingen' en 'alles bij het oude willen houden'. Ook in statistical auditing kennen we het begrip conservatisme; de komende tijd gaan we hier in een serie columns dieper op in.

Ferry Geertman en Hein Kloosterman

In de statistiek is het begrip conservatisme te vergelijken met het principe van voorzichtigheid zoals dat in accountantscontrole wordt gehanteerd. In deze column leggen we uit wat in het vakgebied Statistical audit wordt bedoeld met conservatisme en hoe ons dat kan parten spelen bij de controle. In een aantal volgende columns geven we enkele voorbeelden hoe we ermee om kunnen gaan.

Het voornaamste doel van het toepassen van steekproeven in de controle is het bepalen van een betrouwbaarheidsbovengrens voor de fractie (onbekende) fouten in de populatie. Trekken we een steekproef en vinden we geen fouten daarin, dan berekenen we deze bovengrens. We noemen deze bovengrens de maximale fout. De uitkomst van het onderzoek is nu gelijk aan de opzet ervan. De maximale fout is gelijk aan de toelaatbare afwijking (NV COS richtlijn 530). We weten dan dat we voldoende werk hebben gedaan om een uitspraak te doen over de gehele populatie.

Niet iedere onderzochte steekproef zal helemaal foutloos zijn. Zodra er fouten of foutjes in de steekproef voorkomen, overschrijdt de berekende maximale fout, die bovengrens, de toelaatbare afwijking. In de accountantscontrole kennen we daarom nog twee grenzen: de materialiteit en de uitvoeringsmaterialiteit (NV COS 320).

In grote lijnen staat het begrip materialiteit voor de worst case, de bovengrens van de fouten, van de jaarrekening als geheel. De uitvoeringsmaterialiteit staat dan voor de worst case van de onderzochte deelpopulatie. In het algemeen, zo stelt de richtlijn, is de materialiteit groter dan of gelijk aan de uitvoeringsmaterialiteit. Die mogelijke speelruimte heeft met voorzichtigheid te maken.

Betrouwbaarheidsbovengrens

Maar wat is eigenlijk de betrouwbaarheidsbovengrens? De betrouwbaarheidsbovengrens bepalen we aan de hand van wiskundige/statistische functies op basis van de geplande betrouwbaarheid en het verkregen steekproefresultaat. Het is hierbij goed ons te realiseren dat het verkregen steekproefresultaat afhankelijk is van het toeval, dat wil zeggen dat meerdere uitgevoerde steekproeven een verschillend resultaat zullen laten zien.

Dit betekent ook dat een specifieke betrouwbaarheidsbovengrens afhankelijk is van het toeval. De uitkomst van de wiskundige/statistische functie losgelaten op het steekproefresultaat heet een 95%-betrouwbaarheidsbovengrens als de kans dat deze uitkomst groter is dan de werkelijke foutfractie 95 procent bedraagt.

Anders gezegd: als we heel vaak een steekproef zouden trekken, zeg duizend keer, en elke keer de betrouwbaarheidsbovengrens zouden berekenen, dan zal in 950 keer de berekende bovengrens boven de echte foutfractie liggen en vijftig keer beneden de echte foutfractie. Dit is de definitie van een 95%- betrouwbaarheidsbovengrens volgens de klassieke steekproeftheorie.

Conservatief

Nu de stap naar conservatief. Een 95%-betrouwbaarheidsbovengrens heet conservatief als de kans dat deze uitkomst groter is dan de werkelijke foutfractie meer dan 95 procent bedraagt. Anders gezegd: als we heel vaak een steekproef zouden trekken, zeg duizend keer, en elke keer de betrouwbaarheidsbovengrens zouden berekenen, dan zal in meer dan 950 keer de berekende bovengrens boven de echte foutfractie liggen en minder dan vijftig keer beneden de echte foutfractie.

Het berekenen van bovengrenzen in geldsteekproeven gebeurt met de zogenoemde Stringer-bound, waarbij de gevonden relatieve fouten (taintings) in dalende volgorde worden aangeboden aan de functie om de bovengrens te berekenen. Een andere manier van berekenen van de foutbovengrens houdt in dat de gevonden fouten worden gesorteerd in afnemende volgorde van omvang in geld.

Van beide methoden is vastgesteld - op de manier zoals hierboven beschreven, dus door heel vaak een steekproef te trekken op een volledig bekende populatie - dat deze manier van rekenen conservatief is.

Niet efficiënt

Vertaald naar ons vak betekent dit, dat we eigenlijk te veel werk hebben gedaan. Gegeven de uitgangspunten zijn we niet efficiënt. Anders gezegd: we doen er te lang over om tot goedkeuring over te gaan. Het loont dan ook de moeite om in die gevallen waarbij de berekende maximale fout nét boven de (uitvoerings-)materialiteit ligt, alternatieve berekeningswijzen te gebruiken. In een paar volgende columns geven we hiervan voorbeelden.

De veelgebruikte auditsoftware zoals ACL en IDEA maakt gebruik van respectievelijk de Stringer-bound en een iets lagere, meer precieze, bovengrens (die techniek voert voor deze column te ver).

Samengevat: het berekenen van een maximale fout in de populatie om te zien of er voldoende werk is gedaan om te kunnen goedkeuren, kan op meerdere manieren. Als de foutbovengrens net de (uitvoerings-)materialiteit overschrijdt, is het de moeite waard om na te gaan of er een alternatieve en geldige berekeningsmethode voorhanden is, waarmee de bovengrens minder hoog kan uitkomen en er toch nog kan worden goedgekeurd.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Ir. Ferry Geertman RE CISA is managing director bij de KEY Group.

Hein Kloosterman RE RA, gepensioneerd adviseur IT-audit en Statistical Audit. Lid van de Stuurgroep Statistical Auditing.

Gerelateerd

6 reacties

Hein Kloosterman

Beste Geert,
Ik begrijp nu jouw zorg. Denk ik.
Het model voor de controle dat wij in het achterhoofd hebben als wij over steekproeven in de controle spreken en schrijven zorgt ervoor dat wij de substantive tests (waar onze columns vaak over gaan, en deze column ook) onderscheiden van de andere controleactiviteiten. Die activiteiten moeten als het ware al zijn uitgevoerd. Ik bestempelde die activiteiten wel eens als voorwaardelijke controles. Daar hoort bij het onderzoek dat helder maakt dat de subsidiaire vastleggingen allemaal onderling consistent zijn. En daar valt ook - in de casus waarnaar je verwees - het natellen van een lijst met onderhanden werken onder. Dat kun je onder meer afleiden uit column 50 (over data-analyse en methodologie).
We fietsen dus niet lucht ;-)

Geert de Jonge

Beste Hein, misschien helpt het als je de betekenis van conservatief wat oprekt naar het dagelijkse spraakgebruik. Wat is bedoel is dat we als onderzoeker niet alleen oog moeten hebben voor de pot met knikkers, maar ook voor de wereld daaromheen. Namelijk de mensen die met de knikkers spelen en ons misschien niet al hun knikkers willen laten zien. Met andere woorden, de werkelijkheid waarin we opereren is geen laboratoriumsituatie, waarin we zo maar op de uitkomsten van onze theoretische modellen kunnen vertrouwen, ook niet als we daar wat veiligheidsmarge inbouwen.

Hein Kloosterman

Geert:
Ben het met je eens over de uitspraak: niet natellen is dom. Domheid verdient een waarschuwing. Dank voor je verwijzing.
Toch snap ik niet goed jouw link met conservatisme, voorzichtigheid. Als je doet wat je zou moeten doen en je creëert enige ruimte (doet iets te veel) om een goed gevoel te krijgen is iets anders dan vertrouwen hebben in alles dat geprint is. Kun je de voorzichtigheid die jij bedoelde nog toelichten?

Geert de Jonge

Beste Hein, mag ik je als voorbeeld van wat ik bedoel verwijzen naar ECLI:NL:TACAKN:2016:8 15/854 Wtra AK. Daar richtte een accountant bij de controle van de onderhanden projecten zijn inspanningen op een populatie onderhanden projecten, waar de fout die hij had moeten ontdekken als gevolg van fraude al niet meer voorkwam. Dat leverde hem terecht een maatregel op.

Hein Kloosterman

Beste Geert,
Ik snap niet zo goed wat je met je stelling bedoelt.
Het conservatisme waar wij het over hebben is dat op basis van het auditrisico de maximale hoeveelheid foute geldeenheden in de onderzochte populatie aan de hoge kant zal worden berekend. We rekenen op zo'n manier dat we ervan uit mogen gaan dat de echte fout in de populatie met hooguit 5% kans, hoger is dan de berekende foutbovengrens. We gebruiken daarbij technieken die voldoende zekerheid geven dat we onder die 5% blijven. Daarbij wordt gebruik gemaakt van (wetenschappelijk) onderzoek dat die voorzichtigheid ondersteund. Als Stuurgroep Statistical Audit proberen we steun te vinden om technieken die in de praktijk voorzichtig genoeg gevonden worden wetenschappelijk op hun voorzichtigheid te toetsen.
We keken, kijken en laten kijken naar andere aspecten van onzekerheid in de controle, zoals bijvoorbeeld het aspect van feilbare accountants. Zie het overzichtsartikel dat bij een van onze eerdere columns (nr 26) toegankelijk is gemaakt.

Geert de Jonge

Tot het conservatisme behoort hopelijk ook dat de accountant voor hij begint met zijn steekproeven zich er zo veel mogelijk van vergewist dat hij zijn inspanningen richt op een populatie waar de fouten die hij moet ontdekken niet al bij voorbaat uitgefilterd zijn, bijvoorbeeld als gevolg van fraude, al komt een dergelijke bepaling in standaard 530 nog niet voor. Maar dat is wel waar het in de praktijk wel eens misgaat.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.