Ed Broeze

In een drieluikje wil ik daar kanttekeningen bij plaatsen. Na deel 1 nu over het intuïtief inschatten van berekenbare kansen.

Ik heb heel wat introducties in de statistiek verzorgd. Ter introductie van de introductie was een terugkerende vraag aan mijn gehoor: hoe groot schat je de kans dat in een gezelschap van 23 willekeurige personen er twee of meer op dezelfde dag jarig zijn? Het gros van mijn studenten schatte die kans op zo'n 5 procent, hoogstens 10 procent. Immers, de kans dat 2 personen op dezelfde dag jarig zijn is zó klein, dat die voor 23 ook nog steeds niet groot kan zijn.

Dat, althans, is de intuïtieve 'redenering', het systeem 1 denken van mijn vorige column. Verankering en onvoldoende aanpassing noemden Tversky en Kahneman dat. En het is ook framing, want als de vraag was geformuleerd als 'Schat de kans in dat niet twee van de 23 verjaardagen op dezelfde datum vallen', dan was die inschatting zeer waarschijnlijk meer in de buurt gekomen van de 50 procent die hij ook in werkelijkheid is.

Zoals u ziet zijn de gebeurtenissen in de eerste formulering ('twee of meer op dezelfde dag') en die in de tweede formulering ('niet twee van de 23') elkaars complement en dus geldt volgens de kanswetten dat de kans die we met de eerste vraag zochten gelijk was aan (1- de tweede kans), dus ook 50 procent. De intuïtie die op circa 5 procent kwam werkte dus niet.

In 1986 kwam ik bij de Algemene Rekenkamer werken, als statistisch adviseur. In het begin werd mij wel eens (vriendelijk) toegegromd: "Toen je er nog niet was vonden we een steekproef van 100 al fantastisch en als we daarin geen enkele fout vonden waren we volkomen zeker van een goedkeuring en bij één (of twee) eigenlijk ook nog wel. En nu zeg jij dat we er minstens 300 moeten trekken met 0 fout en dat ten onrechte goedkeuren dan nog altijd 5 procent kans heeft. We dachten dat je ons leven makkelijker kwam maken".

Mijn antwoord was natuurlijk: "Ja, als je met een betrouwbaarheid van 95 procent wilt kunnen goedkeuren en je materialiteit is 1 procent, DAN... En zoals jullie het deden had je maar een betrouwbaarheid van 63% en dan moest je nog aselekt hebben getrokken. Anders kende je je betrouwbaarheid niet eens."

Ziehier twee van de vele voorbeelden die ik ben tegengekomen over hoe mensen kansen verkeerd inschatten (ik heb die 63 procent ook op twee manieren opnieuw berekend voor deze column: is hij echt zo laag?). In de literatuur is er ook stelselmatig onderzoek naar gedaan: een incomplete greep, waaruit hetzelfde beeld naar voren komt (ja, er kan een bias in mijn keuze zitten, maar dan nog..).

Bijvoorbeeld Messier et al (2001) laten zien dat auditors op basis van de AICPA 'Audit Sampling Guide' stelselmatig kiezen voor een steekproefomvang die kleiner is dan volgens de statistiek vereist. Zij vrezen under-auditing.

Burgstahler et al (2000) laten zien dat auditors de neiging hebben de onzekerheid te onderschatten die hoort bij de projectie van een steekproefresultaat op de rekening, en daarbij tot te lage correcties te komen.

Ook de mens als 'aselector' doet het niet goed. Hall et al (2001) laten zien dat bij 'lukraak steken' verdubbeling van de steekproefomvang nauwelijks invloed heeft op de vertekening die zo'n steekproef geeft: 'aantrekkelijke' objecten zijn in hun experiment met 30 procent oververtegenwoordigd - aantrekkelijk, door kleur, formaat en dergelijke.

In mijn proefschrift (Broeze, 2006), hoofdstuk 3, geef ik een uitgebreider overzicht. Sindsdien is er bij mijn weten slechts weinig op dit terrein verschenen.

We zijn dus slecht in het inschatten van kansen, onderschatten de onzekerheid die hoort bij steekproefgebaseerde uitspraken, onderschatten de omvang van benodigde correcties en kunnen niet ‘aselecteren'. En toch...

En toch wordt alleen al in ISA 530 ruim baan gegeven aan professional judgment: bij het bepalen van de steekproefomvang (in A11) wordt van geen statistische methode gerept als het over het projecteren van fouten gaat (in A22), terwijl er wel vrolijk van sampling risk wordt gesproken en er in A22 nog andere bedenkelijke suggesties (understatement) worden gedaan over hoe met misstatements om te gaan.

Maar die horen bij fouten isoleren (zie columns 9 en 11) en bij het uitbreiden van de steekproef als de bestaande niet tot goedkeuring mag leiden (net als isoleren op z'n minst zeer tricky, maar onuitroeibaar; zie ook column 12).

Daarnaast geeft ISA530 in appendices 2 en 3 aanwijzingen voor het vaststellen van een steekproefomvang, analoog aan de AICPA-sampling guide waarvan Messier et al hebben laten zien dat die niet werkt. Je vraagt je ook af waarom in die appendices niet gewoon een formule staat.

Voor alle duidelijkheid: ik wil en kan niemand dwingen om statistische methoden te gebruiken. Maar als je daarvan afziet, zie dan ook af van de suggestie van beheersing van de betrouwbaarheid van je controle. 

Literatuur

• Broeze, E. (2006) Validation of Risk Assessment in Auditing. Limperg Instituut, Amsterdam
• Burgstahler, D., S.M Glover & J. Jiambalvo (2000): Error Projection and Uncertainty in the Evaluation of Aggregate Error. Auditing: A Journal of Practice and Theory Vol. 19 No. 1
• Hall, Thomas W.,Terri L. Herron, Bethane Jo Pierce & Terry J. Witt (2001): The Effectiveness of Increasing Sample Size to Mitigate the Influence of Population Characteristics in Haphazard Sampling. Auditing: a Journal of Practice and Theory Vol. 20 No. 1
• ISA 530 (2009): International Standard on Auditing 530 Audit Sampling
• Messier, William F., Steven J. Kachelmeier & Kevan L. Jensen (2001): An Experimental Assessment of Recent Professional Developments in Nonstatistical Sampling Guidance. Auditing, a Journal of Practice and Theory Vol. 20 No. 1