Statistical auditing (53)

Steekproefmethoden ter validatie van Client Compliance

Banken zijn verplicht hun cliënten in risicogroepen in te delen en vervolgens de handelingen van deze cliënten te volgen met een intensiteit die bij dat risico past.

Paul van Batenburg

Op grond van in de administratie aanwezige gegevens kan een eerste indeling geautomatiseerd gebeuren, maar de vraag is of daarmee voldoende zeker is dat alle cliënten de aandacht krijgen die zij behoren te krijgen.

DNB kan banken vragen hun aanpak te valideren en een steekproef kan daarbij van pas komen. Er komen daarvoor twee steekproefmethoden in aanmerking. In de twee voorbeelden hieronder ga ik bij het noemen van getallen gemakshalve ervan uit dat de bank met een steekproef wil aantonen dat hoogstens 1 procent van de cliënten in een te lage risicogroep is ingedeeld. Een fout is hieronder dus dan ook een dossier waaruit blijkt dat een cliënt in een te lage risicogroep is ingedeeld.

Goedkeuren of niet

De snelste manier om een massa die voldoet aan de eis goed te keuren is door nul fouten in driehonderd aselect gestoken dossiers vast te stellen. Alleen als die steekproef foutloos is kan met 95 procent betrouwbaarheid worden voldaan aan de eis van 99 procent nauwkeurigheid; zodra een fout wordt gevonden is die conclusie niet meer haalbaar. Een evaluatie in de vorm van een beste schatting is mogelijk, maar die evaluatie heeft geen 95 procent betrouwbaarheid en 99 procent nauwkeurigheid.

Als men een dergelijke uitspraak per risicogroep wil doen (voor de hoogste-risicogroep is immers helemaal geen uitspraak nodig), of per cliëntsoort, dan geldt per groep de steekproefomvang van driehonderd bij 95 procent betrouwbaarheid en 99 procent nauwkeurigheid.

Het is mogelijk om een grotere steekproef op te zetten, waarin ook bij het vinden van fouten nog aan de gestelde eisen kan worden voldaan, maar de efficiency van deze methode verdwijnt snel. De vraag is ook hoe je in dat geval het aantal toegestane fouten moet kiezen en wat te doen als dat aantal toch wordt overschreden. Het uitbreiden van steekproeven na het vinden van fouten zal niet meer leiden tot 95 procent betrouwbaarheid en 99 procent nauwkeurigheid.

Kwaliteitsgarantie geven

Een andere manier van steekproeven inzetten als we vooraf niet overtuigd zijn dat het bestand foutloos is ingedeeld, is door het totale cliëntenbestand in minimaal twintig homogene groepen op te delen en uit elke groep een steekproef van 37 dossiers te trekken.

Deze manier van het gebruik van steekproeven heeft een zeer hoge mate van effectiviteit. Bij het vinden van 1 fout in de steekproef wordt die groep afgekeurd, de hele groep opnieuw beoordeeld en ingedeeld totdat deze groep gegarandeerd foutloos is. De groepen zijn opgedeeld naar het risico op afkeuren, dus naar de kans dat dossiers in die groep verkeerd zijn ingedeeld. Hoe groter dat risico, des te minder dossiers moet de groep bevatten om de werkbelasting van een afgekeurde groep zo klein mogelijk te houden.

Na goedkeuring van de groepen met foutloze steekproeven en opschoning van de afgekeurde groepen kan worden gegarandeerd dat er niet meer dan 1 procent fouten zijn achtergebleven. Deze methode heet de Average Outgoing Quality Limit-methode van Dodge en Romig. De methode is ontwikkeld voor batchcontrole in de procesindustrie, maar is ook toepasbaar in administratieve processen.

Werklast

Het verschil tussen de twee methoden lijkt op het eerste gezicht duidelijk: driehonderd waarnemingen of twintig keer 37 = 740. Maar voor een goede vergelijking van de methoden moeten we ook kijken naar de werklast als er één of meer fouten worden gevonden. Als gekozen is voor de methode met driehonderd waarnemingen en er blijkt één fout, dan moet een integrale herbeoordeling van de gehele massa volgen. Bij de methode met 740 waarnemingen komt er een opschoning van alleen (maar) de delen waarvan de steekproef een fout gaf.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Gerelateerd

6 reacties

Willem Gravesande

@Hein Kloosterman 26 april 2016:

Professionele organisaties hebben op dit moment de beschikking over alle benodigde data en technische middelen om volledige compliance controles te doen (al dan niet real-time).

Quote uit het FD: "Als alle data beschikbaar zijn, nemen patronen en uitzonderingen daarop de plaats in van steekproeven. Alleen houden de toezichthouders nog toezicht op de steekproeven."

Hein Kloosterman

In sommige reacties komt het begrip 'data science' naar voren. Dat is een hype-achtig begrip. Het begrip heeft zijn origine in statistiek en logica. Er is een verband met informatica. Vooral is het een vernieuwing van de termen 'business intelligence' en 'buisness analytics'. Het 'renoveren' van begrippen doet vaak vermoeden dat er sprake is van innovatie. Die innovatie is in de gunstigste zin het multidiciplinair invullen van mogelijkheden. Vaak is er sprake van o(p)rakelen.

Willem Gravesande

@Hein Kloosterman 23 april 2016:

Quote: "Waar komt dan die (nog een kans van) 0.0785% vandaan?
Je kunt naar allerlei sites verwijzen maar als je niet weet wat je uitspookt is iedere techniek risicovol. Zowel voor de statisticus, als voor de klant, als voor de stakeholders."

Wanneer je op https://www.ndax.nl/drive/DS/sc.html klikt, dan kun je dit uitrekenen met margin of error = 1%, confidence level = 95%, population size = 1000000 (elk groot getal is goed), response distribution = 99.215%

De resterende foutkans is dan 100-99.215 =0.785%

Willem Gravesande

@Hein Kloosterman 23 april 2016:

Dank voor het antwoord. Het is niet 0.0785% maar 0.785%, zie de reactie.

Gelukkig is statistiek niet afhankelijk van juridische wetten (zoals financieen).

Je kunt dit uitrekenen met (zie bijvoorbeeld Basic Statistics: A Modern Approach):

x = Z(c/100)2r(100-r)
n = N x/((N-1)E2 + x)
E = Sqrt[(N - n)x/n(N-1)]

waarbij n = sample size, E = margin of error E, N = population size, r = fraction, Z(c/100) = critical value for the confidence level c.

Echter bovenstaande berekening (en jou poisson verdeling) verandersteld een random verdeling van de fouten in de populatie wat (vrijwel) nooit het geval is. Daarom zijn Data Science gabaseerde methoden superieur.

Hein Kloosterman

@Willem Gravesande
De cijfers die je noemt zijn anders dan de cijfers in de column. Een steekproef die nul fouten laat zien op basis van 95%betrouwbaarheid en 1%onnauwkeurigheid heeft een omvang van 300 (berekend op basis van de Poisson verdeling). Waar komt dan die (nog een kans van) 0.0785% vandaan?
Je kunt naar allerlei sites verwijzen maar als je niet weet wat je uitspookt is iedere techniek risicovol. Zowel voor de statisticus, als voor de klant, als voor de stakeholders.

Willem Gravesande

In het gegeven voorbeeld kom ik met een margin of error van 1% en een confidence level van 95% met een sample size van 300 op een foutkans van 0.785%. Hierbij is echter de aanname dat de fouten random gedistribueerd zijn. Dit is vrijwel nooit het geval. Met Data Science kun je echter andere methoden toepassen. Verbeteringen op het terrein van risicomanagement en compliance gebaseerd op data-driven research is op dit moment een actief research onderwerp, zie bijvoorbeeld http://www.nwo.nl/binaries/content/documents/nwo/algemeen/documentation/application/ew/data-driven-research-for-banking--insurance---call-for-proposals/Call+for+Proposals+NL_DBRI+_def-pdf.pdf

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.