Conservatisme en Statistiek
Met de Amerikaanse verkiezingen in aantocht worden we met de termen conservatief, conservatisme en conservatieven om de oren geslagen. Vaak begrijpen we dit als 'star', 'niet open voor veranderingen' en 'alles bij het oude willen houden'. Ook in statistical auditing kennen we het begrip conservatisme; de komende tijd gaan we hier in een serie columns dieper op in.
Ferry Geertman en Hein Kloosterman
In de statistiek is het begrip conservatisme te vergelijken met het principe van voorzichtigheid zoals dat in accountantscontrole wordt gehanteerd. In deze column leggen we uit wat in het vakgebied Statistical audit wordt bedoeld met conservatisme en hoe ons dat kan parten spelen bij de controle. In een aantal volgende columns geven we enkele voorbeelden hoe we ermee om kunnen gaan.
Het voornaamste doel van het toepassen van steekproeven in de controle is het bepalen van een betrouwbaarheidsbovengrens voor de fractie (onbekende) fouten in de populatie. Trekken we een steekproef en vinden we geen fouten daarin, dan berekenen we deze bovengrens. We noemen deze bovengrens de maximale fout. De uitkomst van het onderzoek is nu gelijk aan de opzet ervan. De maximale fout is gelijk aan de toelaatbare afwijking (NV COS richtlijn 530). We weten dan dat we voldoende werk hebben gedaan om een uitspraak te doen over de gehele populatie.
Niet iedere onderzochte steekproef zal helemaal foutloos zijn. Zodra er fouten of foutjes in de steekproef voorkomen, overschrijdt de berekende maximale fout, die bovengrens, de toelaatbare afwijking. In de accountantscontrole kennen we daarom nog twee grenzen: de materialiteit en de uitvoeringsmaterialiteit (NV COS 320).
In grote lijnen staat het begrip materialiteit voor de worst case, de bovengrens van de fouten, van de jaarrekening als geheel. De uitvoeringsmaterialiteit staat dan voor de worst case van de onderzochte deelpopulatie. In het algemeen, zo stelt de richtlijn, is de materialiteit groter dan of gelijk aan de uitvoeringsmaterialiteit. Die mogelijke speelruimte heeft met voorzichtigheid te maken.
Betrouwbaarheidsbovengrens
Maar wat is eigenlijk de betrouwbaarheidsbovengrens? De betrouwbaarheidsbovengrens bepalen we aan de hand van wiskundige/statistische functies op basis van de geplande betrouwbaarheid en het verkregen steekproefresultaat. Het is hierbij goed ons te realiseren dat het verkregen steekproefresultaat afhankelijk is van het toeval, dat wil zeggen dat meerdere uitgevoerde steekproeven een verschillend resultaat zullen laten zien.
Dit betekent ook dat een specifieke betrouwbaarheidsbovengrens afhankelijk is van het toeval. De uitkomst van de wiskundige/statistische functie losgelaten op het steekproefresultaat heet een 95%-betrouwbaarheidsbovengrens als de kans dat deze uitkomst groter is dan de werkelijke foutfractie 95 procent bedraagt.
Anders gezegd: als we heel vaak een steekproef zouden trekken, zeg duizend keer, en elke keer de betrouwbaarheidsbovengrens zouden berekenen, dan zal in 950 keer de berekende bovengrens boven de echte foutfractie liggen en vijftig keer beneden de echte foutfractie. Dit is de definitie van een 95%- betrouwbaarheidsbovengrens volgens de klassieke steekproeftheorie.
Conservatief
Nu de stap naar conservatief. Een 95%-betrouwbaarheidsbovengrens heet conservatief als de kans dat deze uitkomst groter is dan de werkelijke foutfractie meer dan 95 procent bedraagt. Anders gezegd: als we heel vaak een steekproef zouden trekken, zeg duizend keer, en elke keer de betrouwbaarheidsbovengrens zouden berekenen, dan zal in meer dan 950 keer de berekende bovengrens boven de echte foutfractie liggen en minder dan vijftig keer beneden de echte foutfractie.
Het berekenen van bovengrenzen in geldsteekproeven gebeurt met de zogenoemde Stringer-bound, waarbij de gevonden relatieve fouten (taintings) in dalende volgorde worden aangeboden aan de functie om de bovengrens te berekenen. Een andere manier van berekenen van de foutbovengrens houdt in dat de gevonden fouten worden gesorteerd in afnemende volgorde van omvang in geld.
Van beide methoden is vastgesteld - op de manier zoals hierboven beschreven, dus door heel vaak een steekproef te trekken op een volledig bekende populatie - dat deze manier van rekenen conservatief is.
Niet efficiënt
Vertaald naar ons vak betekent dit, dat we eigenlijk te veel werk hebben gedaan. Gegeven de uitgangspunten zijn we niet efficiënt. Anders gezegd: we doen er te lang over om tot goedkeuring over te gaan. Het loont dan ook de moeite om in die gevallen waarbij de berekende maximale fout nét boven de (uitvoerings-)materialiteit ligt, alternatieve berekeningswijzen te gebruiken. In een paar volgende columns geven we hiervan voorbeelden.
De veelgebruikte auditsoftware zoals ACL en IDEA maakt gebruik van respectievelijk de Stringer-bound en een iets lagere, meer precieze, bovengrens (die techniek voert voor deze column te ver).
Samengevat: het berekenen van een maximale fout in de populatie om te zien of er voldoende werk is gedaan om te kunnen goedkeuren, kan op meerdere manieren. Als de foutbovengrens net de (uitvoerings-)materialiteit overschrijdt, is het de moeite waard om na te gaan of er een alternatieve en geldige berekeningsmethode voorhanden is, waarmee de bovengrens minder hoog kan uitkomen en er toch nog kan worden goedgekeurd.
Gerelateerd
Machine learning in de audit: uitschieters bij vastgoedwaardering
Regressie is een vorm van machine learning met als doel het voorspellen van cijfers op basis van een aantal kenmerken. Met open-sourcesoftware kun je zonder programmeerkennis...
Machine learning in de audit: voorspellen van klantverloop
Het doel van machine learning is om voorspellingen te maken aan de hand van data. Binnen dit veld worden doorgaans drie hoofdtoepassingen onderscheiden: classificatie,...
De steekproefomvang ontmaskerd - deel 5
In vorige columns hebben we verschillende manieren besproken om tot een steekproefomvang te kunnen komen. Deze column is de laatste van de serie waarin we verschillende...
De steekproefomvang ontmaskerd - deel 4
Een accountant die gebruikmaakt van software om een steekproefomvang te berekenen, moet zeker weten dat die software dat goed doet. Daarvoor moet je de rekenmethode...
Symposium: Machine Learning in de audit
Hoe is het momenteel gesteld met de toepassing van Machine Learning in de audit? Aankondiging van een symposium.