Steekproefmethoden ter validatie van Client Compliance
Banken zijn verplicht hun cliënten in risicogroepen in te delen en vervolgens de handelingen van deze cliënten te volgen met een intensiteit die bij dat risico past.
Paul van Batenburg
Op grond van in de administratie aanwezige gegevens kan een eerste indeling geautomatiseerd gebeuren, maar de vraag is of daarmee voldoende zeker is dat alle cliënten de aandacht krijgen die zij behoren te krijgen.
DNB kan banken vragen hun aanpak te valideren en een steekproef kan daarbij van pas komen. Er komen daarvoor twee steekproefmethoden in aanmerking. In de twee voorbeelden hieronder ga ik bij het noemen van getallen gemakshalve ervan uit dat de bank met een steekproef wil aantonen dat hoogstens 1 procent van de cliënten in een te lage risicogroep is ingedeeld. Een fout is hieronder dus dan ook een dossier waaruit blijkt dat een cliënt in een te lage risicogroep is ingedeeld.
Goedkeuren of niet
De snelste manier om een massa die voldoet aan de eis goed te keuren is door nul fouten in driehonderd aselect gestoken dossiers vast te stellen. Alleen als die steekproef foutloos is kan met 95 procent betrouwbaarheid worden voldaan aan de eis van 99 procent nauwkeurigheid; zodra een fout wordt gevonden is die conclusie niet meer haalbaar. Een evaluatie in de vorm van een beste schatting is mogelijk, maar die evaluatie heeft geen 95 procent betrouwbaarheid en 99 procent nauwkeurigheid.
Als men een dergelijke uitspraak per risicogroep wil doen (voor de hoogste-risicogroep is immers helemaal geen uitspraak nodig), of per cliëntsoort, dan geldt per groep de steekproefomvang van driehonderd bij 95 procent betrouwbaarheid en 99 procent nauwkeurigheid.
Het is mogelijk om een grotere steekproef op te zetten, waarin ook bij het vinden van fouten nog aan de gestelde eisen kan worden voldaan, maar de efficiency van deze methode verdwijnt snel. De vraag is ook hoe je in dat geval het aantal toegestane fouten moet kiezen en wat te doen als dat aantal toch wordt overschreden. Het uitbreiden van steekproeven na het vinden van fouten zal niet meer leiden tot 95 procent betrouwbaarheid en 99 procent nauwkeurigheid.
Kwaliteitsgarantie geven
Een andere manier van steekproeven inzetten als we vooraf niet overtuigd zijn dat het bestand foutloos is ingedeeld, is door het totale cliëntenbestand in minimaal twintig homogene groepen op te delen en uit elke groep een steekproef van 37 dossiers te trekken.
Deze manier van het gebruik van steekproeven heeft een zeer hoge mate van effectiviteit. Bij het vinden van 1 fout in de steekproef wordt die groep afgekeurd, de hele groep opnieuw beoordeeld en ingedeeld totdat deze groep gegarandeerd foutloos is. De groepen zijn opgedeeld naar het risico op afkeuren, dus naar de kans dat dossiers in die groep verkeerd zijn ingedeeld. Hoe groter dat risico, des te minder dossiers moet de groep bevatten om de werkbelasting van een afgekeurde groep zo klein mogelijk te houden.
Na goedkeuring van de groepen met foutloze steekproeven en opschoning van de afgekeurde groepen kan worden gegarandeerd dat er niet meer dan 1 procent fouten zijn achtergebleven. Deze methode heet de Average Outgoing Quality Limit-methode van Dodge en Romig. De methode is ontwikkeld voor batchcontrole in de procesindustrie, maar is ook toepasbaar in administratieve processen.
Werklast
Het verschil tussen de twee methoden lijkt op het eerste gezicht duidelijk: driehonderd waarnemingen of twintig keer 37 = 740. Maar voor een goede vergelijking van de methoden moeten we ook kijken naar de werklast als er één of meer fouten worden gevonden. Als gekozen is voor de methode met driehonderd waarnemingen en er blijkt één fout, dan moet een integrale herbeoordeling van de gehele massa volgen. Bij de methode met 740 waarnemingen komt er een opschoning van alleen (maar) de delen waarvan de steekproef een fout gaf.
Gerelateerd
Machine learning in de audit: uitschieters bij vastgoedwaardering
Regressie is een vorm van machine learning met als doel het voorspellen van cijfers op basis van een aantal kenmerken. Met open-sourcesoftware kun je zonder programmeerkennis...
Machine learning in de audit: voorspellen van klantverloop
Het doel van machine learning is om voorspellingen te maken aan de hand van data. Binnen dit veld worden doorgaans drie hoofdtoepassingen onderscheiden: classificatie,...
De steekproefomvang ontmaskerd - deel 5
In vorige columns hebben we verschillende manieren besproken om tot een steekproefomvang te kunnen komen. Deze column is de laatste van de serie waarin we verschillende...
De steekproefomvang ontmaskerd - deel 4
Een accountant die gebruikmaakt van software om een steekproefomvang te berekenen, moet zeker weten dat die software dat goed doet. Daarvoor moet je de rekenmethode...
Symposium: Machine Learning in de audit
Hoe is het momenteel gesteld met de toepassing van Machine Learning in de audit? Aankondiging van een symposium.