Ed Broeze

In een drieluikje wil ik daar kanttekeningen bij plaatsen. Na deel 1: Valkuilen in het intuïtieve denken en deel 2: Het intuïtief inschatten van berekenbare kansen, nu over risicoanalyse.

Een accountant maakt een procesmodel dat iets over kansen op mogelijke uitkomsten zegt, als hij een beoordeling ontwikkelt van de kwaliteit van de interne beheersingsmaatregelen. Wat hij doet is het vaststellen van de kwaliteit van een proces en dat vertalen in kansen voor het product.

Die vertaling kan op minstens twee fronten last hebben van het feilbare denken:

1. wordt de kwaliteit van het proces wel op voldoende niveau ingeschat; en
2. wordt die inschatting wel correct vertaald in een kans dat de jaarrekening geen materiële fout(en) bevat.

Bij het inschatten van het eerste, de kwaliteit van het proces (de AO, de IB) heeft de accountant last van alle vertekening veroorzakende valkuilen in het (professionele) oordelen: Van framing (gaat men uit van 'een sterk groeiend' of juist een 'frauderend' bedrijf?). Van verankering en (onvoldoende) aanpassing (anchoring and adjustment); de werkomgeving oogt zeer betrouwbaar, is er oog genoeg voor zwakke punten?

Van bevindingen te gemakkelijk representatief achten (representativeness); één positieve lijncontrole slechts aanvullen met weinig systeemtests. Van beschikbaarheid (availability; onder meer oorzaak van het recency-effect; de laatst verwerkte informatie krijgt teveel gewicht.

Bij het tweede, de vertaling van de inschatting van de kwaliteit van de IB-processen naar de kans op fouten, kan men kijken of de accountant zijn eigen vertaling serieus neemt. Oftewel, dekt hij met zijn controleaanpak inderdaad het ingeschatte risico af?

Onderzoek laat zien dat dit vaak niet het geval is: het overgebleven risico is groter dan gewenst en ook wordt de controleaanpak niet aangepast aan veranderende risico's.

Daarnaast is de geplande omvang van tests soms wel weer positief gecorreleerd met risico-inschattingen op sommige controledoelstellingen. Er is in een enkel onderzoek ook gekeken of de risico-inschatting positief correleert met de omvang van de gevonden fouten. Daaruit komt een licht positief verband.

En we houden ook nog de tot weinig optimisme stemmende bevindingen uit mijn vorige column dat we niet goed zijn in het inschatten van kansen.

Een veel uitgebreider overzicht van onderzoek naar de kwaliteit van risico-inschattingen staat in het derde hoofdstuk van mijn proefschrift (Broeze, 2006*). De conclusie daarvan is onbestemd: er zijn heel veel valkuilen, maar accountants hoeven daar lang niet altijd in te trappen (door goede documentatie, ervaring met bedrijfstak, peer review etc).

Door dat onbestemde blijft het de vraag hoe goed uiteindelijk de risico-inschattingen zijn die uit de gebruikelijke risicoanalyse komen.

Die vraag heb ik in mijn proefschrift proberen te beantwoorden door uitkomsten van risicoanalyse te relateren aan de uiteindelijk gevonden fout. Hieruit kwam een positief verband, maar wel één dat sterk varieerde over de elf organisaties waar ik naar gekeken heb. Per organisatie betekende dat verband dus nog niet veel.

Ik wilde er niet omheen dat het bij de risico-inschatting om een kans gaat, namelijk de kans dat de werkelijke fout de materialiteit overschrijdt. Die kans kon ik berekenen bij gegeven steekproefomvang en de gevonden fout. En als ik die (a posteriori) kans als criterium gebruikte, was het verband tussen risico-inschatting en bevindingen in de gegevensgerichte detailcontrole helemaal weg ; hetgeen betekent dat de risico-inschatting zowel te hoog, als te laag, als goed kan zijn, maar je weet dat niet.

Ik heb nog diverse andere grootheden als criterium voor de kwaliteit van de risico-inschatting gebruikt. En steeds bleek dit tot andere uitkomsten te leiden.

Per saldo is er bij het gebruik van risicoanalyse dus een groot risico dat het uiteindelijke controlerisico groter is dan het model laat verwachten.

Samengevat:

• Onderzoek is unaniem: in veel gevallen kunnen we geen kansen inschatten;
• Onderzoek naar risicoanalyse laat heel veel open over de kwaliteit;
• Mijn onderzoek laat op het meest in aanmerking komende criterium géén verband zien tussen de risico-inschatting en de bevindingen in de gegevensgerichte detailcontrole.

Men mag hoop houden, omdat met andere criteria soms wel positieve verbanden worden gevonden.

Het is opmerkelijk dat in de researchliteratuur nooit een probleem is gemaakt van het criterium voor de kwaliteit van de risico-inschatting.

Noot
* Broeze, E. (2006) Validation of Risk Assessment in Auditing. Limperg Instituut, Amsterdam