Paul van Batenburg

Tijdens de voorbije elf symposia was steeds een terugkerend thema de vraag of en hoe controlewerkzaamheden kunnen worden gereduceerd als er subjectieve gunstige voorkennis aanwezig is over de kwaliteit van de te controleren populatie. Het audit risk model, en Bayesiaanse alternatieven, zijn er allemaal op gebaseerd gunstige voorkennis om te zetten in efficiëntere controle.

Voorkennis

Maar wat nu als die gunstige voorkennis afwezig is, of, sterker nog, als eigenlijk wel duidelijk is dat de te controleren gegevens fouten bevatten? Steekproeven zijn eigenlijk alleen maar efficiënt als goedkeuren bij nul fouten in de lijn der verwachting ligt. Wanneer de toelaatbare afwijking gelijk wordt gesteld aan de uitvoeringsmaterialiteit, leidt het kleinste foutje immers al tot een maximale fout die boven de uitvoeringsmaterialiteit uitkomt.

Zelfs als de aanwezige fout niet materieel is, kan een steekproef die alleen bij 0 fouten tot goedkeuring leidt, al een teleurstellend resultaat opleveren. Neem bijvoorbeeld een uitvoeringsmaterialiteit van 3 procent bij 95 procent betrouwbaarheid: daarvoor is de kleinst mogelijke steekproefomvang 100 bij 0 toegestane fouten in de steekproef. Als de werkelijke fout in de populatie 1 procent is, is het verwachte aantal fouten in de steekproef 1. De uitkomsten 0 en 1 zijn even waarschijnlijk en beide zijn de meest voorkomende met 37 procent kans. Dus 63 procent van alle steekproeven uit een populatie met 1 procent fouten zal niet leiden tot goedkeuring als de uitvoeringsmaterialiteit 3 procent is bij 95 procent betrouwbaarheid!

Het wordt nog veel erger als de werkelijke fout boven de uitvoeringsmaterialiteit ligt. Als de populatie 5 procent fouten bevat, is de kans op 0 fouten in 100 waarnemingen kleiner dan 1 procent. Gelukkig maar: bij 3 procent is die kans immers 5 procent.

Data-analyse

De eerste vraag die tijdens het symposium zal worden voorgelegd is of steekproeven überhaupt nog nut hebben in dit soort situaties, waarbij met materiële fouten rekening moet worden gehouden. Vervolgens wordt ingegaan op alternatieven die wij de verzamelnaam data-analyse geven.

Met data-analyse kan men integraal fouten uit een bestand halen, wordt vaak gesteld. En dat is ook zo, maar dat geldt alleen voor die situaties waarin bekend is hoe een fout eruit ziet. Welke karakteristieken hebben foute transacties met elkaar gemeen en onderscheiden foute transacties van correcte? Hoe voorkomen we bij het apart zetten van fouten dat er correcte transacties meegaan? En, hoe weten we dat we alle fouten apart hebben gezet?

Tijdens de drie casestudies over data-analyse in situaties waarin veel fouten worden verwacht, worden deze vragen specifiek gemaakt en beantwoord. Uitdaging is om ons daarbij eerst te realiseren dat data-analyse maatwerk is, maar pas efficiënt wordt als er regels uit zijn af te leiden die te generaliseren zijn. 

Inmiddels is het maximale aantal aanmeldingen voor het symposium bereikt. In een van onze volgende columns zullen wij verslag doen van de dag.