Statistical Auditing (37)

Waarom Dijsselbloem per definitie niet krijgt wat hij verwacht

Als een accountant een handtekening heeft gezet moet je er van uit kunnen gaan dat die verklaring klopt. Dat zegt minister Dijsselbloem, en hij is niet de enige. Toch is het niet waar.

Paul van Batenburg en Jacques de Swart

Een teleurgestelde minister Jeroen Dijsselbloem van Financiën deed zijn uitspraak naar aanleiding van het recente AFM-rapport. Hij heeft de wereldwijd verkondigde marketingboodschap van de accountantsfirma's  gehoord en overgenomen: een accountant verschaft redelijke zekerheid dat een goedgekeurde jaarrekening ook inderdaad geen materiële fout bevat.

Maar dat is niet zo.

Assurance is het complement van accountantscontrolerisico, en het accountantscontrolerisico is de kans dat een jaarrekening met een materiële fout toch wordt goedgekeurd. Assurance is dus de kans dat een  jaarrekening met een materiële fout niet wordt goedgekeurd!

De assurance waar accountants hun werkzaamheden op inrichten, komt dus niet overeen met de assurance die het maatschappelijk verkeer van hen verwacht. De kans op terecht niet goedkeuren is niet hetzelfde als de kans dat een goedgekeurde jaarrekening geen materiële fout bevat.

De door de accountants geleverde assurance is gebaseerd op de statistische school van de Frequentisten. Die hebben een fundamenteel andere kijk op statistiek dan hun concurrenten, de Bayesianen. Het aardige is dat wat Dijsselbloem verwacht precies overeenkomt met wat de school der Bayesianen levert.

Met het Bayesiaanse begrip 'conditionele kans' valt dit eenvoudig uit te leggen. Accountants leveren een controle die is gericht op het aanvaardbaar klein krijgen van hun audit risk: de kans op een goedkeurende verklaring als er toch een materiële fout in de jaarrekening zit. Frequentisten geven deze kans vaak aan met het symbool α, omdat zij deze kans het primaire risico vinden. Er is namelijk ook een secundair risico β: het onterecht afkeuren van een jaarrekening waar geen materiële fout in zit. Accountants besteden daar in het ontwerp van hun controle minder aandacht aan.

In statistische termen is α gelijk aan P(Goedgekeurd | Materiële fout), dat je zou kunnen uitspreken als 'de kans op het goedkeuren van een jaarrekening gegeven dat er een materiële fout inzit'.

Bayesianen zijn juist geïnteresseerd in P(Materiële fout | Goedgekeurd), ofwel "de kans op een materiële fout in een jaarrekening, gegeven dat er een goedkeurende verklaring is afgegeven". Deze kans komt precies overeen met het risico waarvan Dijsselbloem verwacht dat accountants het klein houden.

Samenvattend: Accountants beheersen het eerste risico (goedgekeurd ondanks materiële fout), maar Dijsselbloem verwacht dat ze het tweede risico (materiële fout ondanks goedgekeurde jaarrekening) beheersen.

Wat is nu het verschil tussen deze twee risico's? Bayes heeft het antwoord, want hij heeft een formule ontwikkeld die de twee kansen verbindt:

P(Materiële fout | Goedgekeurd) = P(Goedgekeurd | Materiële fout) * P(Materiële fout) / P(Goedgekeurd)

Het verschil zit hem dus in de factor P(Materiële fout) / P(Goedgekeurd). Laten we dit de verwachtingsklooffactor noemen en deze nader onderzoeken.
Kortheidshalve noemen we P(Materiële fout) nu π. Dit is dus de fractie ‘foute' jaarrekeningen - op het totaal aantal jaarrekeningen . Samen met de eerder geïntroduceerde symbolen α en β kunnen we nu de kansen op de vier mogelijke situaties schetsen:

 

 

Wat is er werkelijk aan de hand?

 

 

Jaarrekening bevat geen materiële fout

Jaarrekening bevat materiële fout

Wat zegt de accountant?

Goedgekeurd

(1-π)(1-β)

πα

Afgekeurd

(1-π)β

π(1-α)

 

Uit dit schema kunnen we afleiden dat P(Goedgekeurd) gelijk is aan (1-π)(1-β) + πα.

Dit betekent dat dat verwachtingsklooffactor gelijk is aan π/((1-π)(1-β) + πα).

Onderstaande grafiek laat voor α = 5 procent het verloop van de verwachtingsklooffactor zien als functie van π (fractie ‘foute' jaarrekeningen), voor enkele waarden van β (risico op onterecht afkeuren van ‘goede' jaarrekening).

We zullen π nooit weten, maar we zien aan de grafiek dat, zolang β en π kleiner zijn dan 40 procent, de verwachtingsklooffactor kleiner is dan 1. Dit betekent dat het risico waarvan Dijsselbloem verwacht dat de accountants het beheersen, in die gevallen gelukkig kleiner is dan het risico dat accountants werkelijk beheersen. Ook zien we dat de verwachtingsklooffactor (bij α = 5 procent) kan oplopen tot 20. Dit gebeurt als iedere jaarrekening een materiële fout bevat.

Op www.steekproeven.eu kunt u een Excel-model downloaden waarmee u zelf de verwachtingsklooffactor kunt onderzoeken.

Dus storm in een glas water? Dat ook weer niet, want er zijn toch een paar lessen uit onze overwegingen te trekken.

  1. Om de verwachtingskloof te dichten, zouden accountants zouden meer kennis moeten nemen van Bayesiaanse statistiek.
  2. In extreme situaties leidt de huidige gang van zaken wel degelijk tot bizarre situaties. Stel dat alle jaarrekeningen een materiële fout bevatten, en de accountant streeft een audit risk na van maximaal 5 procent het risico dat jaarrekeningen ten onrechte goedgekeurd worden, waarvan Dijsselbloem verwacht dat het klein is, 100 procent!

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Jacques de Swart is hoogleraar Toegepaste Wiskunde verbonden aan Nyenrode Business Universiteit. Binnen PwC is hij verantwoordelijk voor de adviesgroep Quantitative Analysis.

Gerelateerd

10 reacties

Hein Kloosterman

AT:Toine. Je geeft een heel cryptische omschrijving van het door Paul en Jacques aangesneden probleem. Hoe kan de 'werkelijkheid' afwijken van de 'waarheid'? Een verwachtingskloof heeft volgens mij altijd te maken met meerdere verschillen. Een verschil in kennis, een verschil in betekenis geven aan termen, een verschil in invalshoek, bijvoorbeeld. Over een deel van deze problematiek, complex is ie, hebben De Groot en Visser een aardig essay geschreven. Zij hebben het over forumtheorie. Kort gezegd komt die erop neer dat een absolute waarheid niet hoeft te bestaan en daar waar die niet voorhanden is kan men maar beter een forum met een hoog deskundigheidsniveau hebben dat de knoop doorhakt. In de zin van: "Neem deze aanname vooralsnog als 'waarheid'." Om een verwachtingskloof te verkleinen zijn er volgens mij daarom twee 'acties' nodig. Vanuit de theoretische, deskundigheidsniveau-hoek moet steeds uiteengezet worden hoe huns inziens de vork in de steel zit. Het 'publiek' moet zich niet deskundig wanen en vragen hoe het zit aan het 'forum'. We zien in deze discussie, deze thread, dat deskundigen proberen de begrippen zuiver te duiden. We zien ook dat die zuiverheid met een soort boosheid wordt ontvangen, maar zonder echte argumenten. Dat is volgens mij de reden dat de discussie nu al 14 dagen buiten de haven voor anker ligt ....

Toine Goossens

Dit komt op mij over als een technisch idealistische verhandeling voor een probleem dat heel eenvoudig is. Een zender en een ontvanger kijken vanuit de eigen optiek naar de werkelijkheid. Als de werkelijkheid waar is, dan zien zij beide hetzelfde. Slechts als de werkelijkheid niet waar is, én dit achteraf uitkomt, dan kan er sprake zijn van een verwachtingskloof. De 1e vraag is of de accountant de werkelijkheid in haar ware gedaante heeft gezien. Het is pas de 2e vraag is of de daarop gebaseerde doorsnede van de werkelijkheid die ware gedaante onthult. Het maatschappelijk verkeer verwacht dat de accountant de werkelijkheid in haar ware gedaante ziet. Dat vereist een volledige, brede waarneming. Waar die ontbreekt leidt dat altijd tot een verwachtingskloof; ooit komt het uit. (al is de leugen nog zo snel, de waarheid achterhaalt haar wel). De accountant die niet in staat is om de 1e vraag naar behoren te beantwoorden, komt aan het ontdekken van de ware gedaante via de 2e vraag niet meer toe. Wilt u mij eens uitleggen waarom en hoe de wiskundig statistische redenering die u hier verwoord leidt tot het oplossen van de verwachtingskloof.

Paul van Batenburg

AT:Gerard, jij begint al anders dan ik je voorstel. Jij hebt het over een jaarrekening die wordt goedkgekeurd ALS hij niet goed is, ik heb het over een jaarrekening die niet goed is ALS hij is goedgekeurd. De regel van Bayes, dus.

Arnout van Kempen

Even zien of ik het goed begrijp: p is dus de kans dat een jaarrekening een materiële fout bevat, zonder dat controle heeft plaats gevonden? Indien het de fractie voor controle betreft, dan is p per definitie gelijk aan het feitelijke (niet noodzakelijk het door de accountant ingeschatte) inherente risico en het interne controle/beheersingsrisico uit de formule van ACR = f(IR, ICR, DR). Immers, het inherente risico is gedefinieerd als de kans (ja, kans en risico loopt lekker door elkaar) op een materiële fout in de jaarrekening indien geen interne beheersingsmaatregelen zijn getroffen, en geen accountantscontrole is toegepast. En ICR is de kans dat een materiële fout door de interne controle/beheersing komt. Is in het hierboven gegeven model dan wel rekening gehouden met het feit dat p afneemt als gevolg van foutcorrecties die volgen uit de controle? Of begrijp ik er gewoon niks van?

Geert de Jonge

We zullen p nooit weten, maar kunnen de auteurs een schatting maken van p? Hoeveel procent van de jaarrekeningen wordt pas goedgekeurd nadat door de accountant ontdekte materiële fouten zijn gecorrigeerd? Mij dunkt dat dit soort percentages toch wel bekend moet zijn binnen de organisaties waaraan de auteurs verbonden zijn.

Hein Kloosterman

Lastig, die begrippen. Vooral omdat accountants niet consequent zijn in het hanteren van die begrippen. Als je probeert aan modelbouw te doen - zoals zich bij statistical audit dat voordoet - zie je die inconcsequenties. Dat gebeurt al bij het begrip risico (dat onder meer wordt gebruikt om een kwade kans aan te duiden, en het effect van dat kwaad, en het maximale effect van dat kwaad, en het kwaad zelf). Daarom is het niet vreemd dat Gerard Dirven het begrip 'assurance' gebruikt om het begrip 'audit risk' uit te drukken. Het is niet vreemd maar wel inconsequent. Het begrip 'assurance' is door Paul van Batenburg aangeduid als het complement van 'audit risk'. Dat is ook de betekenis. Het begrip is daarnaast ook vertaald - in de jaren negentig - van 'kijk eens hoe goed wij een foute jaarrekening niet goedkeuren' tot 'kijk eens hoe goed wij zekerheid kunnen toevoegen'. De accountantsorganisatie hebben toen het begrip 'assurance' uitgehold door ermee aan de loop te gaan. Paul geeft de concrete betekenis van 'assurance' weer en Gerard de retorische. In de column - en eerder al in 1981 - wordt die retorische uitleg van 'assurance' omgedoopt (via de Bayesiaanse invalshoek) tot vertrouwen. Ik hoop dat deze uitleg de discussie helderder maakt ;-)

Gerard Dirven

AT: Paul van Batenburg Als een jaarrekening eenmaal is goedgekeurd, weet je dan dat hij ook goed is? Als een jaarrekening wordt goedgekeurd terwijl deze niet goed is (materiële fout bevat) kan dit twee oorzaken hebben: - controlerisico is niet tot een aanvaardbaar niveau teruggebracht: accountant heeft zijn werk niet goed gedaan - controlerisico is wel tot een aanvaardbaar niveau teruggebracht: maatschappelijk geaccepteerd risico omdat controle anders te duur wordt Het is dus wel degelijk de assurance die de accountant nastreeft, maar welk doel deze niet altijd zal kunnen bereiken. Een goedgekeurde jaarrekening kan dus wel degelijk fout zijn. Daarbij herhaal ik dat assurance zich uitsluitend richt op de kans dat een jaarrekening met een materiële fout (onterecht) wel wordt goedgekeurd. De kans dat een jaarrekening zonder materiële fout onterecht wordt afgekeurd wordt hierbij klein verondersteld.

Paul van Batenburg

AT:Gerard, vragen als "of ben ik gek geworden?" zijn verleidelijk maar pogingen tot een antwoord vertroebelen de discussie. Oordeel svp zelf. Als assurance het compliment van risico is, en risico de kans is dat een materiele fout niet ontdekt wordt, dan is assurance de kans dat hij wel ontdekt wordt. En de kans dat een materiele fout ontdekt wordt is iets anders dan de kans dat hij er niet is als de jaarrekening eenmaal is goedgekeurd. Jij hebt het over 4 smaken, maar de crux van het verhaal is dat je de tabel die je daarvoor kan maken niet alleen van boven naar beneden maar ook van links naar rechts kan lezen. Als een jaarrekening eenmaal is goedgekeurd, weet je dan dat hij ook goed is? Daar heeft Dijsselbloem het over, maar dat is niet de assurance die de accountant nastreeft.

Gerard Dirven

Leuk zo'n hersenkraker, maar niet zo relevant als deze uitgaat van verkeerde veronderstellingen. De stelling in het artikel is als volgt gedefinieerd: 'Assurance is dus de kans dat een jaarrekening met een materiële fout niet wordt goedgekeurd!' Dit is gewoon onzin want het is niet de bedoeling om een jaarrekening met een materiële fout goed te keuren. Of ben ik gek geworden? Deze stelling is dan ook onjuist. Assurance richt zich uitsluitend op de kans dat een jaarrekening met een materiële fout wel wordt goedgekeurd. De kans dat een jaarrekening zonder materiële fout onterecht wordt afgekeurd wordt hierbij klein verondersteld. Er zijn slechts vier reële smaken: - jaarrekening met materiële fout wordt goedgekeurd: accountantscontrolerisico richt zich hier juist op. Moet tot aanvaardbaar laag niveau worden teruggebracht. - jaarrekening met materiële fout wordt afgekeurd: accountantscontrole heeft gewerkt - jaarrekening zonder materiële fout wordt goedgekeurd: accountantscontrole heeft gewerkt of de accountant heeft geluk gehad - jaarrekening zonder materiële fout wordt afgekeurd: dit risico wordt klein geacht omdat belanghebbenden geen belang hebben bij afkeuring en dus alles in stelling zullen brengen om de accountant van zijn ongelijk te overtuigen. Dijsselbloem kan dus gerust zijn mits accountants hun werk goed doen. Accountants kunnen gerust zijn omdat zij zich de statistiek van de Frequentisten niet eigen hoeven te maken.

Geert de Jonge

Wat moet ik me voorstellen bij het onterecht afkeuren van een jaarrekening waar geen materiële fout in zit? Een jaarrekening kan alleen worden afgekeurd als de accountant nadat hij voldoende en geschikte controle-informatie heeft verkregen, tot de conclusie komt dat afwijkingen afzonderlijk of gezamenlijk zowel van materieel belang zijn als een diepgaande invloed hebben op de financiële overzichten. Als een jaarrekening geen fout bevat (wat is er werkelijk aan de hand?), dan kan de accountant ook geen fout constateren. Is beta dan niet per definitie nul en resteert alsdan niet alleen de blauwe lijn?

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.