Opinie 11 november 2014

Juistheid oorzaakanalyse niet aan te tonen

Op 25 september 2014 verscheen naast de rapporten van de werkgroep Toekomst accountantsberoep en van de AFM ook het in opdracht van Financiën door de Erasmus Universiteit (EUR) opgestelde evaluatierapport Wta. Wat voegt dat rapport nog toe aan die andere twee?

Op het eerste gezicht niet heel veel. Doel was ten eerste de evaluatie van de Wet toezicht accountantsorganisaties (Wta) en ten tweede de beoordeling van de effectiviteit van het toezicht door de Autoriteit Financiële Markten (AFM). Beide met het oog op de uiteindelijke doelstelling: het verbeteren van het vertrouwen in de accountant en de accountantsverklaring. De onderzoekers deden hiertoe een literatuurstudie, een online-survey, en 26 diepte-interviews.

Maar het zat ze niet mee. De enige beroepsgroep met voldoende respons op de online-survey was die der accountants. Die survey-uitslag moet dus worden beschouwd als een opiniepeiling onder accountants, wat niet de meest voor de hand liggende basis is om een oordeel op te baseren over de effectiviteit van wet en toezicht. Voor zover aan het EUR-onderzoek conclusies kunnen worden verbonden, zijn deze dus kwalitatief onderbouwd door literatuurstudie, 26 interviews en eventuele opmerkingen van respondenten op de survey. Maar een effectiviteitsmeting veronderstelt een oorzaak-gevolg model en een meting van de werking.

De onderzoekers hebben het wel geprobeerd. Om de effectiviteit van het AFM-toezicht te meten is een model opgesteld waarin de relatie wordt gelegd tussen het toezichthandelen van de AFM (input), de nalevingseffecten daarvan op het gedrag van accountants - te weten meer compliance met de controlestandaarden (intermediate outcome) - en de ontwikkeling van het vertrouwen in accountantsorganisaties en de accountantsverklaring (final outcome).

Maar het bleek onmogelijk om op basis van dit model een meting uit te voeren.
Ten eerste moet daarvoor de verandering in het vertrouwen in de periode 2006-2014 worden gemeten. Daarvoor is een nulmeting nodig in 2006 en een nieuwe meting in 2014. Die nulmeting is er echter niet. Dus moet je vragen wat de mensen nu denken dat ze toen vonden, en wat ze nu vinden. Maar het eerste wordt natuurlijk beïnvloed door het laatste (hindsight bias).

Ten tweede is aan de inputzijde het aantal formele handhavingsmaatregelen laag, omdat de AFM de nadruk legt op informeel toezicht. Dat maakt de doeltreffendheid van het toezicht moeilijk meetbaar, ook al omdat de onderzoekers vanwege geheimhoudingsbepalingen geen individuele toezichtdossiers konden inzien. En last but not least zijn er allerlei verstorende factoren (met name de kredietcrisis) die het onmogelijk maken nog te meten welke invloed het AFM-toezicht heeft gehad op het vertrouwen.

Als dit rapport ons iets kan leren, dan gaat dat daarom waarschijnlijk over de (on)haalbaarheid van oorzaakanalyses. Want de mogelijkheid van oorzaakanalyse en van effectmeting zijn gekoppeld: als het tweede niet mogelijk is, dan mist ook de basis voor het eerste.

Nu hebben de EUR-onderzoekers geprobeerd een relatie te leggen tussen het AFM-toezicht, het gedrag van accountants en het vertrouwen van belanghebbenden in accountantsverklaringen. In de rapporten van de werkgroep Toekomst accountantsberoep en van de AFM wordt gevraagd naar een oorzaakanalyse van het gedrag van accountants. Dat wil zeggen dat wordt gezocht naar een model met een aantal inputvariabelen (cultuur, commerciële omgeving, tijdsdruk enzovoorts) en als final outcome de mate van compliance bij uitvoering van de controletaak.

De AFM heeft geconstateerd dat de in dit kader door de big four opgestelde verklaringsmodellen onvoldoende diepgang hebben. De toezichthouder heeft de vier organisaties daarom gevraagd zelf onderzoek te doen naar de nog dieper liggende oorzaken van de kwaliteitsproblemen. Minister Dijsselbloem laat in zijn recente brief (pagina 23) weten dat de komende periode duidelijk zal worden hoe dit verzoek is opgevolgd: "De AFM monitort dit en zal hierover rapporteren in haar volgende rapport."

De minister stelt daarbij terecht dat effectmeting een uitdaging is. Stel dat de kantoren dieperliggende oorzaken zouden benoemen, dan is aannemelijk dat we blijven zitten met dezelfde meetproblemen als waar de EUR-onderzoekers tegenaan liepen.

Daarbij is het meten van de final outcome niet het grootste probleem: nalevingseffecten zijn te meten door te bepalen of kantoren de regels en normen opvolgen. Maar het meten van inputvariabelen en het leggen van een relatie naar de final outcome blijft even moeilijk als het voor de EUR-onderzoekers was.

De juistheid van de oorzaakanalyses is daardoor onmogelijk aan te tonen. Maar, dan is het dus ook niet mogelijk om de keuze voor bepaalde maatregelen met onderzoek te onderbouwen. We zullen het als basis voor zulke keuzen dus moeten doen met geïnformeerde meningen. Meer is niet haalbaar. Voor de kantoren zowel als voor de politiek.