Discussie Opinie 14 maart 2022

De inspectiemethode van de AFM: twee voorstellen

Vanaf dit jaar is de AFM ook belast met de toetsing van niet-oob-accountantsorganisaties. Hoe selecteert de toezichthouder daarvoor dossiers? Hoogleraar Willem Buijink pleit voor openheid en doet twee praktische voorstellen.

Willem Buijink

Zoals bekend neemt de AFM dit jaar de inspectie van de niet-oob accountantsorganisaties (nu rond de 250) met een wettelijke controle (WeCo) vergunning echt over van de NBA en de SRA.
De AFM doet al de inspecties van de oob (B4 en niet-B4) accountantsorganisaties (nu zes). Die bestaan uit een inspectie van het kwaliteitszorgsysteem van de accountantsorganisatie, die deels gebaseerd is op een inspectie van een selectie van cliëntcontroledossiers. Die werkwijze volgt de Wta en de onderliggende EU Auditing Directive.

De wijze waarop de AFM dossiers selecteert in de beoordeling van de oob-accountantsorganisaties wordt nu ook van belang voor de niet-oob WeCo accountantsorganisaties.
De AFM legt die selectiemethode telkens in algemene termen uit. Dat gebeurt in inspectierapporten uit 2010, 2014, 2017 over de B4 oob-accountantsorganisaties, en uit 2013 en 2019 over de niet-B4 oob-accountantsorganisaties. Maar de uitleg varieert. In het recent (2021) verschenen B4 en niet-B4 oob-inspectiesrapport gebeurt de selectie anders. De AFM koppelt daarin de inspecties aan de intern uitgevoerde kwaliteitsonderzoeken (IKO's).

Een interessante vraag voor de niet-oob WeCo accountantsorganisaties is, het 2021 rapport terzijde latend: hoe selecteerde de AFM dossiers bij de oob-accountantsorganisaties? Reconstruerend: de AFM gebruikte daarvoor 'algoritmes'. Eerst wordt dan een deelpopulatie van potentieel te inspecteren dossiers geselecteerd. Daarbinnen worden in een tweede stap de te inspecteren dossiers gekozen.

Een aantal keren werd daarbij opgemerkt, maar niet meer in de meest recente rapporten, dat beide selecties deels op basis van dossierrisico-inschattingen door de AFM gebeuren. Maar hoe de algoritmes precies in elkaar zaten, hoe de AFM profileerde, dat werd niet uitgelegd.
Daardoor werd de draagwijdte van de uitslag van de AFM dossierinspecties onduidelijk. Hoe beschrijvend waren de resultaten ervan voor de kwaliteit van de accountantscontrole en het kwaliteitszorgsysteem van de geïnspecteerde oob-accountantsorganisatie?
Tegelijkertijd overheerste elke keer wel de uitslag van de dossierinspecties, ook gestuurd door de AFM zelf, in de berichtgeving over de oob-accountantsorganisaties inspecties.
De tegenwerping dat de AFM de dossierinspecties op fundamentele gronden best op toevalbasis zou doen, met een goede steekproefomvang gelet op de omvang van de populatie van de (risico) dossiers, heeft de AFM nooit beantwoord. Zo'n toevalselectie kan verschillende vormen aannemen; ook efficiënte vormen. Collega-toezichthouders als de PCAOB en de Belgische CTR maken wel gedeeltelijk gebruik van toevalselectie. De AFM heeft dat maar één keer gedaan, in een eenmalige inspectie, gepubliceerd in 2013, van precies de niet-oob WeCo accountantsorganisaties.

In een FD-artikel is te zien hoe de AFM zich aan het voorbereiden is op de overname van de inspecties van de huidige 250 WeCo niet-oob accountantsorganisaties. Ten eerste moeten de 250 niet-oob-organisaties voor elke WeCo accountantscontrolecliënt een vragenlijst gaan invullen. Ten tweede is er deze opmerking van de AFM: "Wij gebruiken deze [vragenlijst] informatie voor ons risicobeeld. Op basis daarvan plannen wij toezichtactiviteiten."

'Risico' is dus terug. Hoe zal de AFM 'risico', zoals dat afgeleid gaat worden uit de antwoorden op de vragenlijst, gaan gebruiken? Voorspeld kan worden, op grond van het bovenstaande over de oob-inspecties, dat dit gaat gebeuren door het bouwen van drie risicogebaseerde selectie-algoritmes. De waarneembare liefde binnen de AFM voor 'machine learning' data analyse benaderingen, die tot dit soort algoritmes kunnen leiden, is zichtbaar op de AFM-website en in AFM-publicaties.
Eén algoritme voor de risicogebaseerde selectie van te inspecteren niet-oob WeCo accountantsorganisaties per jaar. Met als restrictie dat de accountantsorganisaties eens in de zes jaar geïnspecteerd moeten worden. Daarnaast een tweede algoritme voor de selectie van een subpopulatie van 'risico'-dossiers binnen de gekozen accountantsorganisatie. En dan een derde algoritme om daaruit de te inspecteren dossiers te kiezen: de uiteindelijke steekproef.

Opnieuw zal de AFM dus geen toevalselectie gebruiken. Risicogerelateerde kenmerken van de cliënt, van de accountantsorganisatie, van de betrokken vestiging en van de externe accountant, etc., afkomstig uit de vragenlijsten, zullen gebruikt gaan worden om accountantsorganisaties en uiteindelijk de dossiers daarbinnen te selecteren. Wellicht gaat de AFM daarbij nog andere, ook publieke, informatie over accountantsorganisaties en externe accountants gebruiken.
Overigens: er is nog een vierde niveau van selectie: welke gebieden binnen een dossier bestuderen de AFM-inspecteurs? Dat laat ik even terzijde.

Mijn eerste voorstel: de AFM maakt alle algoritmes, ook de vroeger gebruikte, openbaar in een helder onderzoeksdocument. De betrokken accountantsorganisaties en andere betrokkenen kunnen dan de algoritmes beoordelen en erover in discussie gaan met de AFM. De academische buitenwacht kan er beter over doceren. Daarbij moet ook aan de orde komen of toevalselectie niet beter is. Als de algoritmes openbaar zijn kunnen de betrokken accountantsorganisaties die gebruiken om zelf de voorspelbare 'getroffen' controles al extra te 'bewaken'. Tenslotte: als het AFM de algoritmes openbaar maakt kunnen alle accountantsorganisaties er ook hun 'IKO-dossier selectiemethode' nuttig mee vergelijken.

Mijn tweede voorstel: het zou goed zijn als de AFM met de verzamelde informatie uit de jaarlijkse vragenlijsten over de niet-oob WeCo's een openbaar register maakt, zoals dat in andere landen ook gebeurt. De oob WeCo's moeten daar dan aan toegevoegd worden. Dan komen voor het eerst alle (ongeveer) twintigduizend WeCo's per jaar in Nederland precies in beeld. Dat geeft, bijvoorbeeld, externe onderzoekers een nuttig hulpmiddel bij het doen van zelfonderzoek naar controlekwaliteit, in aanvulling op dat van de AFM.