Statistical auditing (79)

Het nieuwe H-woord: Homogeen?

Vaak horen wij het argument dat steekproeven niet toepasbaar zijn omdat de populatie niet homogeen is. Als we dan doorvragen blijkt dat men dat stelt omdat er een steekproef is onderzocht die fouten bleek te bevatten van verschillende soort en oorzaak. "Dus de populatie is niet homogeen!", roept men dan. Wat is er dan eigenlijk aan de hand?

Paul van Batenburg en Hein Kloosterman

De controleur heeft een steekproef ontworpen met de bedoeling naar aanleiding van de uitkomst de populatie goed te keuren. Daarvoor mogen in de steekproef geen fouten voorkomen. Dat is gegeven het steekproefrisico en de toegelaten afwijking de kleinste steekproefomvang, levert het minste werk voor de controleur op en kost dus het minste geld.

Als de controle van de steekproef wel fouten laat zien, kunnen die fouten een heel spectrum aan foutsoorten bestrijken. Men stelt dan dat die verschillende soorten fouten niet als één foutsoort "op één hoop" mogen worden geëxtrapoleerd.

Waarom dat niet zou mogen wordt vervolgens niet duidelijk. Ook wordt niet duidelijk wat er verandert aan de uitkomst van de evaluatie als de fouten per stuk of per foutsoort worden geëxtrapoleerd. De meest waarschijnlijke fout is en blijft immers de optelling van foutbedrag gedeeld door selectiekans, en beide veranderen niet.

Het H-woord

Om het waarom van wel of niet "op één hoop" mogen extrapoleren duidelijk te maken introduceren wij hier het H-woord van homogeniteit. Een H-woord, omdat zal blijken dat het ontbreken van homogeniteit meer geld gaat kosten dan wanneer er wel sprake is van homogeniteit.

Maar wat is dan homogeniteit?

Homogeniteit is niet: alle elementen van de populatie zijn identiek. Er zijn geen administraties waarin de posten allemaal hetzelfde bedrag hebben. Homogeniteit betekent ook niet dat alle elementen van de populatie dezelfde foutkans hebben. Dan zijn er elementen, met foutkans 0 en wellicht ook een paar elementen met foutkans 1.

Een goede definitie van homogeniteit is dat alle elementen een foutkans hebben die uit dezelfde kansverdeling komt. De controleur kan dan vooraf een aanname doen over de vorm van die verdeling en door middel van waarnemingen die vorm kunnen aanpassen naar een gewenste vorm. Dat kan bijvoorbeeld door een verdeling waarbij de bovengrens voldoet aan de gekozen uitvoeringsmaterialiteit voor de populatie.

Waarom is homogeniteit belangrijk?

Steekproefcontrole leidt tot een geprojecteerde fout, en er bestaat een kans dat die foutschatting hoger is dan de werkelijke fout in de massa. Deze neemt niet af door meer waarnemingen te doen. Maar de foutschatting kan ook lager zijn (daar is meer kans op) en de meest waarschijnlijke uitkomst is - bij een homogene populatie - de werkelijke fout.

Stel dat de populatie heterogeen is

Stel dat de populatie in feite uit twee delen bestaat met een verschillende kansverdeling van de fout, dan hangt de vraag of de meest waarschijnlijke uitkomst gelijk is aan de werkelijke fout af van de vraag of die twee delen precies in de juiste verhoudingen in de steekproef zijn vertegenwoordigd.

Dat is niet te garanderen, maar wel te bevorderen door bij de sortering van de populatie voorafgaand aan selectie daar mee rekening te houden. Auditsoftware zal namelijk meestal een selectiemethode gebruiken waarbij de populatie eerst in intervallen wordt opgedeeld en daarna uit elk interval een euro(cent) wordt gestoken, een zogenaamde geldsteekproef.

Hoe kan de uitkomst van een steekproef onjuist zijn?

Als er geen sortering is toegepast (men weet namelijk vooraf niet altijd op welk criterium men de populatie moet sorteren), dan kan de uitkomst van de steekproef tot een te hoge (of een te lage!) meest waarschijnlijke fout leiden. Als men hoopt die uitkomst te kunnen verlagen of wanneer het belangrijk is om die meest waarschijnlijke uitkomst ook daadwerkelijk aan de juiste deelpopulatie toe te rekenen, dan kan dat niet anders dan door de steekproefomvang te vergroten en zo het interval waarmee de gevonden fouten worden geëxtrapoleerd te verkleinen.

Wie moet het extra werk doen?

Duidelijk is dat rekening houden met een niet-homogene populatie, dus een populatie verschillende kansverdelingen van mogelijke fouten, meer werk kost dan het negeren ervan. Een gecontroleerde die niet kan garanderen dat de gehele populatie consistent door een steeds goed werkende interne beheersing is afgehandeld, kan daarmee ook niet garanderen dat de foutverdeling homogeen verdeeld is. Dan moet de controleur extra werk doen om te voorkomen dat de meest waarschijnlijke fout te hoog (of te laag) wordt bepaald. En dat kost weer extra geld. 

Men kan het ook samenvatten met de (retorische) vraag: moet de controleur extra werk doen omdat de gecontroleerde dat niet voldoende heeft gedaan?

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Hein Kloosterman RE RA, gepensioneerd adviseur IT-audit en Statistical Audit. Lid van de Stuurgroep Statistical Auditing.

Gerelateerd

5 reacties

Hein Kloosterman

Geldsteekproeven zijn ideaal als er weinig fouten worden verwacht. Op grond van die verwachting gaat men dan plannen. Op grond van deze zelfde verwachting kan men van homogeniteit uitgaan. Dat is de strekking van (een deel van) deze column. Doordat de afwijkingen in geld zijn uit te drukken (de populatie was wat de samenstellende delen betreft, geldeenheden, al homogeen) kan men aan de hand van de gevonden afwijkingen (in geld) de maximale fout in de populatie en de projectie uitrekenen. Of zo'n weeffoutje een bolletje is of een sliertje of een gaat je maakt niets uit.

Frans Kersten

Beste Paul, welkom in de wereld van de accountancy (en daar loop je toch al lang in rond …). Bij onze laatste zoektocht naar een nieuwe accountant was het verhaal dat de accountantskosten omlaag konden als onze afdeling AO/IC meer voorwerk zou doen en de IB zou verbeteren. Volgens de NV COS mogen ze niet op de AO/IC afdeling steunen. De IB is verbeterd. Echter geen lagere kosten: ze kunnen geen personeel krijgen en moeten hogere salarissen betalen. Wil de gecontroleerde dat dan wel?

Paul van Batenburg

Wat ik probeer duidelijk te maken, René, is dat apart evalueren of gezamenlijk evalueren tot dezelfde uitkomst leidt. Wil je dus een betere evaluatie krijgen dan moet je meer werk doen. En dan komt weer de vraag: moet de controleur meer werk doen omdat de gecontroleerde de boel niet op orde heeft?

Frans Kersten

In mijn herinnering was nu juist het argument achter de (toen) guldensteekproef dat alle guldens gelijk zijn in tegenstelling tot posten en je zo kon uitgaan van homogeniteit.
Doe je dit niet dan zet je jezelf klem met o.a. het voorbeeld van Rene van Wingerden. Daarnaast zullen de posten via andere procedures/handelingen/afdelingen in de te controleren verantwoording zijn gekomen. De daarin opgenomen IB-maatregelen zijn ook nooit gelijk.

Rene van Wingerden

Als men constateert dat gevonden fouten verschillen in soort en oorzaak, dan hebben die elementen toch ook meestal een andere kansverdeling?

Bijvoorbeeld als bij het controleren op prijzen 1 fout het gevolg van een typefout is, en de ander doordat die dag een verouderde prijslijst werd gebruikt (en dus waarschijnlijk alle transacties van die dag foute prijzen hebben). Dan kan je het totaal van deze twee fouten toch niet extrapoleren?

Dan zal toch de uitroep "Dus de populatie is niet homogeen!" veelal juist zal zijn?

Ik zie in jouw analyse dat niet duidelijk weersproken worden.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.