Discussie Opinie 26 maart 2021

Problemen met data-analyse AFM-rapport over niet-oob-kantoren

Kanttekeningen bij een recent onderzoeksrapport van de AFM naar de kwaliteit van niet-oob-accountantsorganisaties.

Willem Buijink

Onlangs publiceerde de AFM een onderzoek naar de oorzaken, determinanten, van de kwaliteit van niet-oob-accountantsorganisaties met een wettelijke controle-vergunning (nOOB's). De afhankelijke variabele 'kwaliteit' in het rapport is de nOOB-organisatie toetsuitkomst van de AFM: voldoende of onvoldoende. De AFM concludeert, na een analyse met zo'n vijftig mogelijke determinanten van nOOB-kwaliteit, dat met name kleinere niet-oob-organisaties slechter scoren op kwaliteit.

De gebruikte toetsuitkomsten komen uit de jaren 2014 tot 2019. De toetsen werden, onder toezicht van de AFM, uitgevoerd door de NBA (Raad voor Toezicht) en de SRA (Reviewcommissie). Ook een aantal 2020-toetsuitkomsten werden al gebruikt. Voor 297 van in totaal 308 toets uitkomsten zijn alle nodige data beschikbaar. Het rapport is een bijdrage aan onderzoek naar accountantscontrole. Maar geen probleemloze bijdrage.

Kanttekening 1: De conclusie in het rapport betreft de huidige vergunninghoudende niet-oob-organisaties. Maar de hoofdanalyse in het rapport gaat niet over de huidige situatie. In die hoofdanalyse worden alle bruikbare 269 observaties uit de jaren van 2014 tot 2019 gebruikt. Dat is geen goede werkwijze. Het aantal negatieve uitkomsten wordt zo overdreven. Voldoende hertoetsen heffen natuurlijk een onvoldoende eerste toets op. De hoofdanalyse kan de AFM-conclusie dus niet dragen. Het is bovendien vreemd dat in de NBA- en SRA-toets kan worden gevonden dat er van 2014 tot 2019 rond vijfhonderd toetsen en hertoetsen werden uitgevoerd. Dat is ruim meer dan het aantal dat de AFM in de hoofdanalyse gebruikt. Waarom wordt een groot aantal uitkomsten niet gebruikt?

Kanttekening 2: De AFM doet ook een analyse (de zesde pas) met als observaties de 178 "nu nog actieve nOOB-accountantsorganisaties" in de wettelijke controlemarkt en met alleen de meest recente toetsuitkomst. Dat is beter. Vreemd daarbij is wel, dat er 'nu' (dat is einde 2019/begin 2020) nog 256 nOOB's actief zijn. Waarom wordt een behoorlijk aantal nOOB's niet 'meegenomen' in de analyse?

Er is nog iets met de 178 toetsuitkomsten van de laatste analyse. Welk percentage heeft daarvan nu nog een onvoldoende? Het rapport noemt dat percentage niet. Het kan benaderend berekend worden met informatie uit tabel 2 van het rapport: bijna 20 procent onvoldoende. Dat is vreemd. Het gaat hier over 178 nOOB's, die vanaf 2012 al werden ge(her)toetst: eerst door de AFM, daarna door de NBA en door de SRA al vanaf 2009. Negatieve hertoetsuitslagen moeten de facto geleid hebben tot vertrek uit de wettelijke controlemarkt. Inderdaad, het aantal nOOB-aanbieders op die markt is gedaald van 419 in 2014 tot 256 nu. Na al die toetsarbeid mag een voldoende voor vrijwel alle huidige organisaties verwacht worden. Het AFM-rapport geeft geen uitleg op dit punt. Ook gebruikt de AFM in de analyse met 178 toetsingen de determinanten waardes uit het jaar van de meest recente toetsing; niet de waardes van nu. Dat is niet goed.

Kanttekening 3: De statistische analyse wordt niet in voldoende detail uitgelegd in het huidige rapport. Het doel is een oorzakelijke analyse: welke nOOB- eigenschappen verklaren nOOB-kwaliteit? Maar nul-hypotheses over de verwachte relatie van de vijftig determinanten met de afhankelijke kwaliteit variabele (voldoende/onvoldoende) worden niet geformuleerd. Er worden geen beschrijvende resultaten voor de vijftig determinanten getoond: apart voor de voldoendes en de onvoldoendes. De correlaties tussen de vijftig determinanten onderling, en die met de afhankelijke variabele kwaliteit, worden niet getoond. Ook wordt de statistische analyse niet theoretisch onderbouwd. Over de relatie tussen accountantsorganisatie-omvang en kwaliteit bestaat omvangrijke economisch-theoretische en empirische onderzoeksliteratuur. Die literatuur gebruikt het AFM-rapport niet. Dat is het gevolg van de gekozen data-science benadering: alleen een statistische analyse dus. Waarom werd niet een econometrische analyse gebruikt: oorzakelijk,en theorie en statistiek combinerend?

Kanttekening 4: De AFM heeft, zoals opgemerkt in het rapport, "een unieke data positie over de Nederlandse [accountantscontrole] markt". De AFM kent van alle nu (in 2020) actieve nOOB's het meest actuele toetsresultaat. De AFM kent ook de huidige waarde van alle vijftig determinanten voor elk van deze nOOB's. Een hoofdanalyse had dus meteen met deze gegevens uitgevoerd kunnen worden. De AFM legt niet uit waarom dat niet gebeurde. Overigens, als blijkt dat bijna alle huidige nOOB's ondertussen een voldoende scoorden, dan is een analyse natuurlijk niet meer nodig. Dan is er geen relatie tussen nOOB-kwaliteit en omvang en andere mogelijke determinanten. Dan is het AFM-doel, uniform voldoende kwaliteit, al bereikt. Maar als er nog wel voldoende 'onvoldoendes' zijn, dan rijst een ander probleem. De AFM neemt de populatie van nOOBs waar; niet een steekproef. Dat vereist een andere statistische benadering dan die nu door de AFM is gekozen.

Conclusie: de analyse in het AFM-rapport moet worden overgedaan.

Laatste opmerking: Tot nu toe deelt de AFM gegevens over de niet-oob wettelijke controlemarkt niet met anderen. De volgende uitnodiging is dus nuttig. Maak deze gegevens beschikbaar voor andere onderzoekers en waarnemers. Laat hen er ook analyses mee doen. De AFM kan zo een goed begin maken met het samenwerken met universitaire accountantscontrole onderzoekers. Dat kan ook door vanuit de AFM onderzoeksrapporten aan hen te presenteren, voorafgaand aan publicatie. Alle kanttekeningen bij dit AFM-rapport hadden tijdens zulke presentaties al aan de orde kunnen komen.