Steekproefmethode voor controle ESF-gelden
De controle van declaraties in het kader van de ESF-gelden kan veel efficiënter, met een nieuwe aanpak.
Ed Broeze en Wouter Gerards
Accountants kunnen een controle van een jaarrekening inrichten met behulp van wiskundige steekproeven. Dat kan dan met een geldsteekproef. Meestal is dat een toetsende steekproef: het gaat om het geven van een oordeel. Omdat er (vaak) geen fouten worden verwacht kan de steekproefomvang relatief beperkt blijven.
Wat moet er gebeuren als er wel fouten worden verwacht, zoals meestal bij een rechtmatigheidscontrole? Wij ontwikkelden een methode om toe te passen op declaraties in het kader van de ESF-gelden (Europees Sociaal Fonds). Hierbij kan vaak niet worden uitgegaan van nul, of heel weinig fouten. Doel van de methode is om desondanks met een steekproefomvang van ongeveer de klassieke goedkeuringssteekproef te werken. De methode is beoordeeld door de Stuurgroep Statistical Audit.
Het ESF subsidieert werkgelegenheidsprojecten in Nederland. De gesubsidieerde projecten dienen declaraties in en het Agentschap Sociale Zaken en Werkgelegenheid (SZW) controleert deze. Doel van deze controle is het bepalen van het aantal juist onderbouwde euro's volgens de met de ESF samenhangende wet- en regelgeving. En dit wel zo dat de bij een vervolgcontrole door de Audit Autoriteit (AA) vastgestelde uitkomst hoogstens 2 procent afwijkt van de schatting door het agentschap.
Voor 2012 werd dit doel bereikt door uitgebreide deelwaarnemingen (tenderend naar een integrale controle en gebaseerd op professional judgment). Om inzichtelijker en efficiënter te werken, is het Agentschap SZW in 2012 overgestapt op een geldeenhedensteekproef met een aangepaste evaluatie.
De hierbij gehanteerde statistiek heeft twee uitgangspunten: hij beperkt de schatting tot het niet al in de steekproef geziene deel van de declaratie en gebruikt hiervoor de informatie van de hele steekproef. De fout in het met de steekproef geziene deel is bekend en heeft dus geen schattingsonnauwkeurigheid.
De vereisten voor de uitkomsten van het onderzoek zijn een (statistische) betrouwbaarheid van 95 procent en een onnauwkeurigheid van ten hoogste 2 procent. Ofwel: de 95 procent betrouwbaarheidsbovengrens mag niet meer dan 2 procent van de (punt)schatting liggen.
Door gebruik te maken van het gegeven dat naast de getrokken geldeenheden er veel overige geldeenheden worden gezien, heeft de methode in de praktijk grote efficiëntiewinsten: tot 90 procent reductie van de anders gehanteerde steekproef.
Het zal duidelijk zijn dat deze combinatie van schatten in 'niet gezien' en zekerheid in 'wel gezien' niet zonder aannames kan worden toegepast!
Wij hebben onze aanpak gepresenteerd in de Stuurgroep Statistical Auditing. Dat leidde tot een forse discussie. Hierin kwamen tegenvoorbeelden aan de orde met betrekking tot de zekerheidsgrenzen, als de aannames niet vervuld waren. Voor het toepassen bij het Agentschap is de methodiek uitgebreid getest. Dit gaf geen afwijkende resultaten. Verder onderzoek naar de vereisten voor een eventuele bredere toepasbaarheid van de methodiek staat op ons programma. We zullen daarbij gebruikmaken van de suggesties die daarvoor vanuit de stuurgroep zijn gedaan.
Daarnaast hebben we de aanpak gepresenteerd op het Symposium Statistical Auditing in mei van dit jaar. Hier werd met veel positieve belangstelling kennisgenomen van onze aanpak, met zijn belofte van efficiëntie.
Gerelateerd
Machine learning in de audit: uitschieters bij vastgoedwaardering
Regressie is een vorm van machine learning met als doel het voorspellen van cijfers op basis van een aantal kenmerken. Met open-sourcesoftware kun je zonder programmeerkennis...
Machine learning in de audit: voorspellen van klantverloop
Het doel van machine learning is om voorspellingen te maken aan de hand van data. Binnen dit veld worden doorgaans drie hoofdtoepassingen onderscheiden: classificatie,...
De steekproefomvang ontmaskerd - deel 5
In vorige columns hebben we verschillende manieren besproken om tot een steekproefomvang te kunnen komen. Deze column is de laatste van de serie waarin we verschillende...
De steekproefomvang ontmaskerd - deel 4
Een accountant die gebruikmaakt van software om een steekproefomvang te berekenen, moet zeker weten dat die software dat goed doet. Daarvoor moet je de rekenmethode...
Symposium: Machine Learning in de audit
Hoe is het momenteel gesteld met de toepassing van Machine Learning in de audit? Aankondiging van een symposium.