Paul van Batenburg

Omdat de materialiteit voor de jaarrekening geen (directe) rol speelt, wordt dan alleen gevraagd om een gespecificeerde onnauwkeurigheid en onbetrouwbaarheid. Daarmee ligt de steekproefomvang eigenlijk vast, maar dan rijst de vraag: waar steken we uit? 

Casus

Een bestand bevat duizend dossiers met elk twintig kenmerken, dus in totaal twintigduizend gegevens. Dit bestand wordt gecontroleerd met een (uitvoerings-)materialiteit van 5 procent bij 95 procent betrouwbaarheid. Als geen fouten worden verwacht - en toegestaan - betekent dit een steekproefomvang van zestig. Met behulp van data-analyse kunnen wellicht al wat fouten (lege velden, onjuiste formats, onmogelijke uitkomsten) uit het bestand worden gevist, maar dat leidt niet (vanzelfsprekend) tot een kleinere steekproefomvang.

De omvang van de steekproef is duidelijk, maar wat is eigenlijk de populatie? Drie antwoorden: 

1. Er is één populatie van duizend dossiers
   in deze situatie steken we zestig dossiers en controleren alle kenmerken van die dossiers. We controleren dus 1.200 gegevens. Als er geen fouten worden gevonden kunnen we met 95 procent zekerheid stellen dat maximaal 5 procent van 1.000 = 50 dossiers één of meer onjuiste gegevens hebben: in het minst gunstige geval zijn dat zelfs duizend gegevens. Maar, dat is geen 95 procent betrouwbare bovengrens; die probeer ik bij 3. te beredeneren. Vinden we wel fouten, dan volgt een uitspraak over het aantal dossiers met fouten. Hoewel daar wiskundig geen reden toe is, ligt het voor de hand om die dossiers met fouten eerst te gaan zoeken aan de hand van kenmerken die al onjuiste gegevens hebben opgeleverd.  Zo werkt foutisolatie immers.
    
2. Er is één populatie van twintigduizend gegevens
   In deze situatie steken we zestig gegevens. Het aantal dossiers dat we daarvoor moeten raadplegen is minimaal drie en maximaal zestig. Het zou een statistisch wonder zijn als alle zestig waarnemingen in drie dossiers vallen. Als er geen fouten worden aangetroffen is het aantal fouten in de populatie Gamma verdeeld met parameters 1 en 20.000/60, en zijn dus met 95 procent zekerheid maximaal 5 procent van twintigduizend, dus maximaal duizend gegevens onjuist: GAMMA.INV(0,95;1;20.000/60) = 1.000. Als we wel fouten vinden wordt een geprojecteerde fout berekend als aantal fouten maal 20.000/60 en is er wederom geen reden om aan te nemen dat het om dezelfde kenmerken gaat als de kenmerken die al fouten opleverden. Toch is, vooral als de fouten geconcentreerd zijn in een paar kenmerken, dat de beste manier om op zoek te gaan. Maar, van kenmerken waarvoor geen fouten zijn gevonden zijn (gemiddeld) maar drie waarnemingen gedaan, dus het is niet mogelijk om kenmerken afzonderlijk goed te keuren.
   
   
3. Er zijn twintig populaties van elk duizend gegevens
   In deze situatie steken we zestig dossiers en controleren weer 1.200 gegevens. Maar, nu evalueren we die twintig aparte steekproeven van zestig. Als een steekproef foutloos is, is het aantal fouten in de populatie Gamma verdeeld met parameters 1 en 1.000/60=16,667 en kunnen we van dat kenmerk met 95 procent betrouwbaarheid stellen dat er maximaal 5 procent van duizend, dus vijftig gegevens, fout zijn. Als alle steekproeven foutloos zijn, is het aantal fouten in de twintig populaties samen Gamma verdeeld met parameters 20 en 16,667 en is de 95 procent betrouwbare maximale fout in de totale populatie GAMMA.INV(0,95;20;16,667) = 465. Deze bovengrens hoort bij 1.200 foutloze gegevens uit twintigduizend en lijkt mij daarom ook bruikbaar bij situatie 1.

(On-)afhankelijkheid

Aanpak 2 leidt tot de minste werklast en geeft (dus ook) de minst nauwkeurige conclusie. Strikt genomen is deze aanpak alleen maar correct als alle twintigduizend gegevens volstrekt onafhankelijk van elkaar zijn en er dus bij het vinden van een fout geen enkele conclusie kan worden getrokken over het wel of niet fout zijn van andere gegevens. Hoe minder dossiers, en hoe minder kenmerken, er worden geraakt om aan zestig waarnemingen te komen des te relevanter wordt deze aanname.

Toch wil ik deze strikte benadering wat nuanceren. Bij aanpak 1, waarbij dossiers worden gestoken, nemen we ook aan dat de kenmerken volstrekt onafhankelijk van elkaar zijn. Toch zullen we bij het vinden van fouten als eerste op zoek gaan naar te herstellen fouten in de kenmerken waarvan de steekproef al fouten opleverde. En bij aanpak 3, waarbij we per kenmerk een controle uitvoeren, nemen we aan dat de dossiers onafhankelijk van elkaar zijn. Dus die onafhankelijkheid blijft ons in de weg zitten. 

Gedachten-experiment

Nu nog een gedachten-experiment: hoe zou de steekproef er uit zien als de populatie  twintig dossiers zou bevatten met elk duizend kenmerken? Aanpak 1 zou dan een steekproef geven van zestig kenmerken waarvoor alle dossiers worden gecontroleerd. Ook dan worden 1.200 gegevens bekeken. Aanpak 2 zou niet wijzigen: we steken nog steeds zestig gegevens. En ook aanpak 3 Blijft in tact!