Magazine 01 januari 2007

'Auditor, leer van fouten!'

Statisticus Ed Broeze deed tien jaar empirisch onderzoek naar het verband tussen risico-inschattingen en de aantallen en omvang van fouten die uit een steekproef blijken. Een van de conclusies: auditors moeten de uitkomsten van steekproeven beter evalueren en kunnen daarmee komen tot een betere risico-analyse en efficiëntere aanpak. “Bekeert u voor het te laat is.”

Dit artikel is verschenen in de Accountant nr. 5, 2007

Bekijk alle artikelen uit dit nummer

» Download dit artikel in pdf

Een naïeve statisticus, dat is hoe Ed Broeze zichzelf wel typeert. Dat kan zo zijn, maar deze onderzoeker heeft wel een belangwekkende boodschap voor accountants en gezien zijn grondige onderzoek heeft hij enig recht van spreken. Broeze is begin zestig, en heeft een flinke historie binnen de Algemene Rekenkamer achter zich. Daar vroeg hij zich af hoe risico-inschattingen achteraf gerechtvaardigd blijken door de fouten die in de steekproef voorkomen. Een zeer relevante vraag, aangezien deze inschattingen de diepgang en omvang van het controlewerk de gegevensgerichte maatregelen, waaronder steekproeven bepalen: hoe lager het risico (zie kader) wordt ingeschat, hoe ‘luier’ een accountant mag zijn. In zijn speurtocht door de internationale (onderzoeks)literatuur trof Broeze vrijwel geen empirisch materiaal aan, en dus dook hij in het gat. Het kostte hem tien jaar om zijn onderzoek te laten uitmonden in een doorwrocht proefschrift.

Potentieel bommetje

Door het jargon en de vele statistische paragrafen is het bepaald geen page turner geworden, maar dat neemt niet weg dat de kernvraag zeer essentieel is: Als een accountant besluit tot een kleine steekproef, doet hij dat dan terecht? Al zal Broeze het zelf niet zo formuleren: “Het is een studie naar de validiteit van de klassieke risico-inschatting.”

In potentie kan zo'n onderzoek een bommetje leggen onder het werk van accountants. Als accountants immers en masse ten onrechte zouden kiezen om risico's op laag te zetten en zo werk besparen omdat ze dan maar een kleine steekproef hoeven uit te voeren legt dit empirische onderzoek dat haarfijn bloot. Belangrijkste vraag is dan ook: wat is de aangetroffen correlatie tussen de risico-inschatting en de fouten? Broeze onderzocht dit op basis van 120 cases van private en overheidsaccountants, via ingevulde vragenlijsten en 76 cases die hij op grond van zijn werk bij de Rekenkamer kon raadplegen. De conclusie: de validiteit met het foutpercentage als criterium was bevredigend. De relevante correlatie in de eerste studie was 43 procent, in de tweede studie 33 procent. Populair gezegd: op grond van een beoordeling van de foutpercentages blijkt dat accountants de risico's aardig weten in te schatten. Er is echter één grote kanttekening: de correlatie varieerde over de organisaties van nul tot 72 procent. Welke organisatie een nul ‘scoorde’ wil Broeze niet kwijt, wel dat zowel de laagste als de hoogste correlatie een overheidsorganisatie betrof.

Pijnlijk

Hij gebruikte nog drie andere methoden om de risico-inschattingen te valideren. Deze laten een minder gunstig beeld zien. Broeze schrijft in zijn proefschrift dan ook: “Unless an organisation has sufficient evidence on the validity of its risk assessment, it should assume that this risk assessment is not valid in the sense that it may replace substantive audit.”

In deze zin schuilt de kern van het onderzoek. Want in de praktijk beoordeelt vrijwel geen enkele auditor achteraf of de risico-inschattingen juist zijn. Dat is eigenlijk best een pijnlijke constatering. Broeze pleit op dat punt dan ook voor een verbetering: de foutresultaten van de steekproeven moeten worden geëvalueerd, ten opzichte van de voorafgaande risico-inschatting. Zo'n evaluatie moet weer worden vertaald naar de volgende risicoanalyse, om die te verbeteren.

Efficiency

Het motto is dus: leren van je fouten, in dit geval in letterlijke en statistisch verantwoorde zin. Broeze: “Als accountants zo'n evaluatie als een continu proces opzetten op een statistisch verantwoorde manier zoals ik beschrijf in mijn proefschrift, dan komt dat de kwaliteit van de risicoanalyse ten goede. Bovendien bestaat zelfs de mogelijkheid dat ze gemiddeld genomen efficiënter kunnen werken, omdat ze minder steekproeven hoeven te doen. De cijfers laten dat zien. Je kunt dan op basis van het verleden een kansverdeling ontwikkelen en die als input gebruiken voor je risicoanalyse. Al moet je daarbij als auditor natuurlijk ook andere factoren laten meewegen.”

Tekenend daarbij is een van de bevindingen uit de eerste dataset van het onderzoek: op een totaal van 120 geanalyseerde gevallen stelde Broeze bij dertien vast dat er een serieus gevaar voor te weinig controle-inspanning bestaat. In twintig gevallen bleek er een gevaar van een te hoge controle-inspanning. Het eerste geval is ineffectief, het tweede inefficiënt.

Eigen belang

Het perspectief van meer efficiency is natuurlijk goed nieuws voor accountants, die worden geconfronteerd met druk op de controle-fees en een tekort aan menskracht. De opmerkingen van Broeze gaan er dus bij accountants in als koud bier op een heet strand? Broeze: “Het perspectief van de efficiency heb ik pas aan het eind ontwikkeld en nog niet aan de organisaties voorgelegd. Vrijwel alle organisaties waren verrast door de uitkomsten. Er is instemming, maar ook relativering, volgens de redenering dat controle méér is dan risico-inschatting. Het probleem wordt in elk geval wel herkend. Begrijp me goed: ik zeg niet dat accountants slecht zijn in risicoanalyse. Ik stel alleen vast dat een gestructureerde evaluatie daarvan niet plaatsvindt. En op dat punt roep ik hen op zich te bekeren voor het te laat is. Het is in hun eigen belang.”

Validation of Risk Assessment in Auditing,  Ed Broeze, Limpberg Instituut, ISBN 90 8659 0551

Risicoanalyse voor dummies

Het bestaansrisico is het risico dat de jaarrekening een materiële fout bevat (een fout die zo groot is, dat hij goedkeuren in de weg staat). In de praktijk is het toegestaan de gegevensgerichte controle aanzienlijk te verminderen, als een van de uitkomsten van risicoanalyse, het bestaansrisico, op ‘laag’ wordt ingeschat. Het bestaansrisico is het resultaat van het inschatten van:

• het inherente risico: het risico op een materiële fout ten gevolge van omgevingsfactoren;
• het interne controlerisico (control risk): het risico dat de administratieve processen onvoldoende mogelijke fouten voorkomen, opmerken en/of corrigeren, zodat een materiële fout kan resulteren.

In de praktijk worden veelal standaard tabellen gebruikt, die een ingeschat bestaansrisico omzetten in een toegestane vermindering van de gegevensgerichte controle (waaronder het uitvoeren van steekproeven). De vraag in het onderzoek: kunnen deze tabellen worden gerechtvaardigd? Met andere woorden is er een gezonde empirische basis voor het omzetten van een ingeschat bestaansrisico in een vermindering van de gegevensgerichte controle?

‘Controlestandaarden’

Ed Broeze werkt nu anderhalve dag per week vanuit het Amsterdam Research Center in Accounting (ARCA) aan de Vrije Universiteit. Hij wil graag dat er vervolgonderzoeken komen en ijvert er ook voor om het valideren van risicoanalyse op te laten nemen in de internationale controlestandaarden.