Statistical auditing (49)

Data-analyse maakt het onderscheid

We schreven al eerder over het valideren van subjectieve risico-inschattingen van accountants. In deze column geven we voorbeelden van modellen waarmee een deel van de risicoanalyses kan worden geobjectiveerd door gebruik te maken van data-analyse en statistiek.

Ferry Geertman en Hein Kloosterman

Wij vinden steekproeven een uitermate krachtig hulpmiddel om heel snel (verhoogt de mate van efficiency, dus) een kwantificeerbare uitspraak (verhoogt de mate van effectiviteit, dus) te doen over een verzameling gegevens. Dat geldt voor de gegevensgerichte controles en het geldt ook in de fase van de analyse van specifieke risico's. Maar er is meer onder de zon dan steekproeven alleen.

Een brainstorm over ontwikkelingen in het accountantsberoep en de rol van statistiek, data en technologie leidde tot de stelling dat het met statistiek mogelijk is een voorspelling te doen over het al dan niet fout zijn van een jaarrekening. Daarvoor is dan data nodig en een aantal technologische voorzieningen.

De gedachten gingen uit naar discriminantanalyse. Dit is een tak van sport binnen de statistiek waarbij een waarneming op basis van de waargenomen kenmerken wordt toegedeeld aan een bepaalde klasse of groep.

Een simpel voorbeeld om te illustreren hoe discriminantanalyse werkt, is de reclame voor de landmacht.  Je ziet een persoon een  aantal activiteiten uitvoeren en er verschijnt: 'Geschikt' of 'Ongeschikt'.

Wat hier vanuit de statistiek aan vooraf is gegaan, is het volgende:  van een groep geschikte en ongeschikte kandidaten is een groot aantal gegevens verzameld.  Deze gegevens zijn geanalyseerd om te bepalen welke soort gegevens echt (volgens de regels van de statistiek) onderscheidend zijn voor verschillende groepen. Deze gegevens worden discriminanten genoemd. 

Een verdere uitwerking  van het voorbeeld: van geschikte kandidaten is vastgesteld dat ze gemiddeld een 7,5 op het vak wiskunde hadden en de honderd meter binnen tachtig seconden zwemmend kunnen overbruggen, terwijl ongeschikte kandidaten gemiddeld een 6,0 hadden en voor de afstand gemiddeld 95 seconden nodig hadden.

Van een nieuwe kandidaat, waarvan dus nog niet bekend is of hij geschikt dan wel ongeschikt is, worden de discriminanten - dat wiskundecijfer en de zwemtijd - gemeten en wordt op basis daarvan voorspeld of de kandidaat geschikt of ongeschikt is.

Omdat de discriminanten met behulp van statistiek worden bepaald, kennen ze een foutmarge. Die marge noemen we de misclassificatiekansen; men wijst een kandidaat af terwijl die eigenlijk wel geschikt is dan wel men classificeert een kandidaat als geschikt, terwijl die uiteindelijk ongeschikt blijkt. Het gaat te ver om dat hier in detail uit te leggen, maar hoe sterker (= hoe meer onderscheidend) de discriminanten, hoe kleiner deze misclassificatiekansen zijn en dus hoe sterker het voorspelmodel is. 

Terug naar ons vak. Zouden we nu ook een model kunnen bouwen dat op basis van kenmerken van het object van onderzoek, de jaarrekening, deze classificeert als goed of fout? Dit zou dan een uitermate sterk stuk gereedschap zijn in de fase van analyse van de specifieke risico’s van een audit.

Nu is 'goed of fout' misschien nog wel een stap te ver, maar een model dat objectief kan aangeven of er sprake is van een meer dan normaal risico, is al een hele stap voorwaarts.  

De volgende voorbeelden van modellen geven al een aardig inzicht in de mogelijkheden.  Schrikt u niet van de formules (die kunnen in Excel worden gezet). De inputgegevens bestaan simpelweg uit waarden die in de jaarrekening voorkomen. Deze modellen maken gebruik van de hierboven omschreven discriminantanalyse.

1. Z-score van Altman
Een model dat bankroet voorspelt  is de zogenoemde Z-score van Altman:
Z = 1.2*X1 + 1.4*X2 + 3.3*X3 + 0.6*X4 + .999*X5, waarbij

X1 = Working Capital / Total Assets
X2 = Retained Earnings / Total Assets
X3 = Earnings Before Interest and Taxes / Total Assets
X4 = Market Value of Equity / Total Liabilities
X5 = Sales/ Total Assets

De onderscheidende (discriminerende) waarden zijn:
Z > 2.99 -'Safe' Zones
1.81 < Z < 2.99 -'Gray' Zones
Z < 1.81 - 'Distress' Zones

2. Model van Messod Beneish
Dit is een model uit 1999 waarbij gerommel met de cijfers kan worden voorspeld, ontwikkeld door professor Messod Beneish. Het model gaat op zoek naar een M-score.

M = -4.84 + 0.92*DSRI + 0.528*GMI + 0.404*AQI + 0.892*SGI + 0.115*DEPI – 0.172*SGAI + 4.679*TATA – 0.327*LVGI

Waarbij

  • Days Sales in Receivables      Index (DSRI).
  • Depreciation Index (DEPI)
  • Sales Growth Index (SGI)
  • Leverage Index (LVGI)
  • Total Accruals to Total      Assets (TATA)
  • Gross Margin Index (GMI)
  • Asset Quality Index (AQI)
  • Sales, General and      Administrative Expenses Index (SGAI)

Een M-score groter dan -2.22 is een aanwijzing (onderscheid) voor gerommel met de cijfers.

Een ander voorbeeld is de OK-score van Okkerse. We hebben daarvan geen toelichting gevonden zoals van de twee voornoemde modellen. Ongetwijfeld zijn er zijn nog meer van deze discriminantanalyses.

De elegantie van dergelijke modellen is dat ze een uitspraak doen over een jaarrekening als geheel. Men kan dan wellicht in een vroeg stadium eventueel een uitgebreid niveau van gegevensgerichte controle of misschien zelfs een zoeklichtcontrole met betrekking tot de alarmeringen aankaarten bij het auditcomité of het bestuur van de organisatie.

Er is vast ook een heleboel aan te merken op deze modellen. Wij zijn benieuwd of deze modellen en de achterliggende methodieken van toegevoegde waarde kunnen zijn in de discussie over risicoanalyse in de accountantscontrole. Wat kan men met deze methoden en technieken objectiveren?

We horen en zien graag uw reactie.

Ir. Ferry Geertman RE CISA is managing director bij de KEY Group.

Hein Kloosterman RE RA, gepensioneerd adviseur IT-audit en Statistical Audit. Lid van de Stuurgroep Statistical Auditing.

Gerelateerd

18 reacties

Willem D. Okkerse MBA CEO OK-Score Institute

Een van de zaken om, VOORTIJDIG te waarschuwen is b.v. de volgende :
zie https://besloten.accountweb.nl/Accountant/Nieuws/Levenslang+beroepsverbod+voor+Indiase+accountants.aspx

HEDENMORGEN GING ABENGOA FAILLIET.

Op verschillende plaatsen in dit medium kunt u deze voorspelling terugvinden. Daarnaast ook in de columns van Ron Boer, DFT.

Glenn Mungra

Willem: jouw benadering m.b.v. set theorie en fuzzy logics klinkt heel interessant.
Maar het klonk alsof fraudedetectie het enige is wat nog bruikbaar is voor de vraag die Hein stelt ("Wij zijn benieuwd of deze modellen en de achterliggende methodieken van toegevoegde waarde kunnen zijn in de discussie over risicoanalyse in de accountantscontrole."). Verderop leg je gelukkig uit waarom de methode heel wat meer kan dan alleen maar insolventie voorspelling.

In een commentaar/reactie op een artikel van Arnaut van Kempen (https://www.accountant.nl/opinie/2014/10/wat-is-er-mis-met-soft-controls/) maakte Wim Nusselder de opmerking dat : "onderdelen van het control environment kunnen bijdragen aan beperking van data-fouten in gegevensverwerkende processen/transacties." (Hij gaf als voorbeeld het stimuleren van de betrokkenheid van medewerkers bij het bedrijf om de kans op fraude te verkleinen)
Ik denk dat dat ook zal gelden voor de OK-score methode. Een beredeneerde of afgeleide en via kansverdeling gewogen inschatting van de kans op een fout, kan een classificatie opleveren in de zin die Hein bedoelde.
Het verschil in benadering was dat Hein in voorbeeld bij het bepalen van de discriminant ervan uitging van een dircrete digitale keuze/kans (1 of een 0), terwijl de OK-score methode waarschijnlijk uitgaat van een continuum van (gewogen) stochastische kansen tussen 0 en 1.
De benadering via set theorie lijkt me verder ook interessant omdat het ook de mogelijkheid biedt om via matrix manipulatie iets te doen wat bijv. het algoritme van Google ook doet. Namelijk de hele matrix van coefficienten binnen de set van lineaire vergelijkingen te vermenigvuldigen met een determinant van de matrix om de uitkomst van de matrix te beïnvloeden. Dat biedt bijv. mogelijkheden om met voorspellende scenario's te spelen en deze scenario's gaandeweg van toepassing te verklaren naarmate er meer informatie ter beschikking komt of om de determinant van de matrix naar aanleiding van de gewijzigde context aan te passen.

Glenn Mungra

Willem: het voorbeeld begrijp ik niet helemaal. Bedoel je dat de situatie zo slecht was dat de accountant dat had moeten zien? En als er in slechts 2 gevallen om een going concern verklaring van de directie is gevraagd, kan er ook nog sprake zijn geweest van oordeelonthouding, afkeurende verklaring of teruggeven van de opdracht. Maar dat haal ik er niet uit.

Willem D. Okkerse MBA CEO OK-Score Institute

@ Glen
indien gekeken wordt bij https://nl.wikipedia.org/wiki/OK-Score
zal worden geconstateerd dat de OK-Score een classificatie is van de financiële gezondheid van een bedrijf op basis van een beoordeling van de gegevens van ten minste vijf opeenvolgende jaarverslagen in hun onderlinge samenhang en ontwikkeling. De aan de OK-Score ten grondslag liggende methode is gebaseerd op de verzamelingenleer.

Maw, de OK-Score beperkt zich niet tot de BRA benadering, maar kan door zijn gebruik van fuzzy logics een directe relatie leggen naar de door de bedrijfsleiding gekozen strategie.

Door de NAF berekening - tegenwoordig door ons " material bias" genoemd, vindt toetsing van potentiele fraude plaats.

Als voorbeeld :
Indien er GEEN going concern verklaring is maar de onderneming heeft wel een OK-Klasse 9 of 10 samen MET een hoge material bias kan worden gesteld dat de bestaande audit prestatie uiterst pover is. Het ultieme bewijs hiertoe blijkt uit het feit dat van de 61 Business Failures die in onze boeken staan en waarvan wij er 60 voorspelden er maar bij TWEE daarvan een Going Concern was afgegeven.

Glenn Mungra

Ik heb net het volgend artikel van Hein gelezen en realiseer me dat ik toch een beetje de plank missla. Waarvoor dank aan Hein: " De BRA-benadering (business risk analysis) is niet consistent met het audit risk model, omdat de BRA-benadering zoekt naar waar het fout kan gaan en het audit risk model zoekt naar (voor-)informatie over hoe goed (deel)populaties zijn."
Ik heb me in mijn eerdere reactie op het artikel teveel gericht op de BRA-benadering.

Glenn Mungra

W.D.Okkerse: Dank voor je vriendelijke reactie.
Even terzijde het volgende:
1. Misschien kun je zelfs in het algemeen zeggen dat kengetallen onvoldoende voorspellende waarde hebben (anders was ik waarschijnlijk al lang rijk geworden op de beurs, of misschien juist niet omdat iedereen dan dezelfde inschatting zou hebben op de beurs.)
2. Ik vraag me ook af of met discriminantenanalyse de causaliteit hard genoeg gemaakt kan worden. En wel om 2 redenen:
- er kan eerder sprake zijn van 'slechts' een correlatie of zelfs dat niet eens.
- meten is niet altijd 'weten' en 'weten' kan ook wanneer je niet zinvol kunt meten.

Dat even terzijde.
Maar om weer terug te komen op het artikel van Hein Kloosterman: Hein geeft expliciet aan dat het voorspelmodel ook zwak kan zijn en vraag zich af of we toch iets met dergelijke modellen kunnen. Zijn inspirerende vraag is intrinsiek gemotiveerd door wat we nog kunnen ontdekken, gegeven onze onwetendheid.

Misschien kunnen we inderdaad de status van de onderneming op een bepaald moment beschrijven en van daaruit met hele kleine gewogen stappen redeneren in de richting van een geprojecteerde verwachting. Met gewogen stappen bedoel ik gewogen m.b.v informatie uit de context van de onderneming. (Informatie uit de context moet wel relevant zijn, maar hoeft niet persé cijfermatig te zijn. Het kan ook om sociale trends gaan,of nieuwe wetgeving, de verkeerde verkiezingsuitslag, het karakter van de CEO etc.)

Maar wat Hein eigenlijk zoekt is een prospectief model waarmee je de risicoanalyse in de acccountantscontrole kunt aanvullen.

1. Het is wel aannemelijk dat in de tijd gezien de (incrementele) kans op onzekere gebeurtenissen voortdurend verandert. De richting van de curve wordt steeds duidelijker (tenzij er nieuwe onzekerheden opdoemen.) Data heeft m.i. geen waarde zolang je het niet in een relevante context kunt plaatsen. Gaandeweg zullen bepaalde trajecten in de beslissingsboom afvallen. Dat zal op zijn beurt weer leiden tot een herverdeling van de relatieve kans op de overbijvende gebeurtenissen (naarmate er steeds meer keuzes/mogelijkheden wegvallen uit het totaal van alle mogelijkheden,wordt er per saldo informatie toegevoegd omdat de onzekerheid afneemt.)

Maar het probleem in deze redenatie is dat ik ervan uitga dat je de som van alle kansen van tevoren weet op grond van relevante informatie en dat je de relatieve kansen kunt kwantificeren of onderling kunt wegen. (Misschien moet je echter genoegen nemen met een zo goed mogelijke schatting.)

2. En als de stapjes maar klein genoeg zijn verwacht ik dat de kans minder groot is dat je zwaar de bocht uit schiet met je voorspelling over de richting van de curve. Dat betekent dat je meer zekerheid hebt over voorspellingen in de nabije toekomst , dat deze gebeurtenis in causaal verband staat met de vorige status en dat de gebeurtenis gerelateerd is aan een (kwalitatief en kwantitatief) toegenomen aantal (context-)informatie attributen (ervan uitgaande dat je meer informatie over de nabije toekomst en minder informatie over de toekomst ter beschikking hebt).

Ik denk daarom dat zo'n model o.m. aan die 2 beschreven eisen zal moeten voldoen.

W.D. Okkerse MBA CEO OK-Score Institute

@Glen
Wijlen Jan Bilderbeek was destijds op verzoek van Professor Kreiken (Twente) betrokken bij het OK-Score onderzoek. De eerste opmerking, maar in feite ook de andere van Glen over de discrimanten konden bevestigd worden door mijn destijds gemaakte stelling dat discriminant analyse niet de juiste weg zou zijn om tot betere faillissementsvoorspellingen te komen; bij de ene groep werkt de ene discriminant nu eenmaal beter dan de andere, maar geen enkele is leidend in de algehele uitkomst.

De directe oorzaak is zoals gezegd terug te vinden in het feit de de ratio's van lopende en failliete bedrijven niet lineair verlopen. Het is de ingebakken fout van de PREMISSE, dat een ratio van een faillerend bedrijf slechter MOETEN zijn dan van een lopend bedrijf dat fnuikend is voor de discriminant analyse op deze manier,

Glenn Mungra

Interessant artikel. Dit deed me denken aan ooit eens gelezen boek (Financiële ratioanalyse, Kengetallen t.b.v. de ondernemingsbeoordeling, Dr. J. Bilderbeek.) Daarin wordt o.a. de discriminantenanalyse besproken.
Interessante opmerkingen van de auteur zijn bijv.:
1. Niet alle discrimanten blijken even goed te discrimineren (welke kengetallen kun je even goed ook weglaten?)
2. Het is niet bekend in hoeverre de typologie van de onderneming ook leidt tot irrelevante kengetallen (voor welke typen kun je met welke kengetallen beter voorspellen?)
3. Er treden overlappingen op tussen (onderdelen van) kengetallen (met welke kengetallen kun je beter voorspellen?)
4. Ingewikkelde discriminantenanalyse blijkt soms even goed te voorspellen na vereenvoudiging tot alleen de beste discriminanten (hoe ingewikkeld moet je het maken?)

Willem D. Okkerse MBA CEO OK-Score Institute

Na 15 jaar praktijk kan door de real life monitoring de eigen analyse vervangen worden externe assessments. Essentieel
is uw opmerking dat "elke methode die een materieel misstatement aan het licht brengt welkom is". Na 15 jaar, dank daarvoor !

Hein Kloosterman

Wij hebben onze column geschreven om te laten zien dat er technieken zijn die de accountant kunnen helpen om de vraag of er sprake zal zijn van specifieke risico's te beantwoorden. We zien in de praktijk dat als het Audit Risk Model wordt toegepast dat men al gauw aanneemt dat het inherent risico als 'laag' wordt getaxeerd. Zoals al in de column geschreven zijn er wiskundige technieken die de inschatting van dat inherent risico kunnen objectiveren. Van dergelijk pogingen tot objectiveren hebben we een stel methoden genoemd die als discriminantanalyse kunnen worden gekarakteriseerd.
Niet alle technieken van cijferanalyses (analytical procedures) obejctiveren. Professional judgement al helemaal niet. En van de OK-score weten we (analytisch) te weinig om er een oordeel over te kunnen geven.
Elke methode die een riskante jaarrekening (dus een met een 'material misstatement') beter aan het licht brengt dan met hydrodigitale methoden kan is ons welkom!

Willem D. Okkerse MBA CEO OK-Score Institute

Blijkens deze reactie hebben sommigen wel de bel horen luiden maar weten ze nog niet waar de klepel hangt. De OK-Score zou alleen maar gericht zijn op insolventievoorspellingen en niet op fouten in de jaarrekening.

Inderdaad, de OK-Score is niet gericht op FOUTEN IN DE JAARREKENING maar op FOUTE JAARREKENINGEN.

Een op het oog wat subtiel lijkend verschil maar zelfs begrijpelijk voor een accountant in het kader van zijn aansprakelijkheid. Verder maar vooral niet uitputtend is de OK-Score naast een eminent waarschuwer voor niet door accountants waargenomen business failures ook het selectie mechanisme voor goede beleggingen, wordt het gebruikt bij merger & acquisitions speciaal om de lijken uit de kast te halen, dient het als financieel risks-assessment voor de RvC, wordt het ingezet om financiële scenario's bij leningen door te rekenen, gebruiken wij het als toeststeen van de door de RvC gebruikte strategie (die onlosmakelijk verbonden/gelimiteerd zijn met een OK-Score), dient het als meetinstrument (ook in snelheid) voor succes- of falings aanduiding en zegt het ook iets als rapportcijfer van beleid van de CEO.

Geert de Jonge

Accountants passen op de ter controle aangeboden cijfers analytische procedures en deskundige oordeelsvorming toe. Wat dat is laat zich niet in een formule vangen, maar komt er in essentie op neer dat de accountant op basis van zijn kennis van de bedrijfsactiviteiten en verslaggevingsregels een verwachting ontwikkelt van hoe de jaarrekening er dan uit zou moeten zien. Afwijkingen van de ter controle aangeboden cijfers ten opzichte van deze ontwikkelde verwachting zijn dan punten van aandacht.

Helpt Altman daarbij? Neen, want Altman is gericht op het voorspellen van mogelijke insolventie en niet op het detecteren van mogelijke onjuistheden de jaarrekening. Helpt Messod Beneish daarbij? Zou kunnen, maar dan alleen voor een zwakke accountant die in eerste instantie met zijn analytische procedures en deskundige oordeelsvorming de boot heeft gemist. Helpt de OK score daarbij? Ik denk het niet omdat die ook gericht is op het voorspellen van mogelijke insolventie en niet op het detecteren van fouten in de jaarrekening.

Willem D. Okkerse MBA CEO OK-Score Institute

ik denk dat iets beter zoeken veel oplevert. Wij werken niet met hindsight maar real life EN gedocumenteerd. Op mijn linkedin profiel en website zijn diverse downloads openbaar beschikbaar, Onder ander het meest recente assessment over de real life kwaliteit van de OK-Score MET data base.
Ik stuur dit document graag toe (graag uw email aan okkerse@ok-score.eu),
In dit document staat verslag van ruim 2551 stuks real life OK-Score ratings waarvan uit de 61 business failures er 60 tijdig (1-3 jaar) met een OK-Klasse 10 vooraf werden voorspeld en van de lopende 2490 stuks er slechts 1 als mogelijke faillissementskandidaat werd genomineerd.
Uw opmerking dat een niet gepubliceerde algoritme een schijn van bijgeloof heeft begrijp ik. Ik zou ook zo reageren, alleen is alle in tempore non suspecto vastgelegde bewijslast onomstotelijk duidelijk en wel toegankelijk.

Hein Kloosterman

Wij verbaasden bij het schrijven van de column ons erover dat de score van Okkerse niet gedocumenteerd is. Hoe slecht de anderen ook zijn, u zult toch moeten laten zien dat uw methode beter is. En niet alleen met hindsight-argumenten. U zondigt namelijk tegen de 'Logic of Scientific Discovery' en dus ook tegen de 'Growth of Scientific Knowlegde'. Beide zijn titels van Popper.
Een niet gepubliceerde algoritme heeft de schijn van 'bijgeloof'.

Paul van Batenburg

You can't have your cake and eat it

Willem D. Okkerse MBA CEO OK-Score Institute

Beste,
In verband met de bescherming van de algoritme heb ik na afsluiting van het onderzoek besloten niet te promoveren.
De uitspraak is ontleend aan de rudimentaire opzet van het onderzoek met als belangrijkste stelling dat
"het gebruik van discriminant analysetechnieken (zoals gebruikt door Altman) NOOIT kunnen leiden tot een betrouwbaar voorspellend model om faillissementen te kunnen voorspellen".
In 2003 hebben de hieronder genoemde heren van de Deutsche Bank deze filosofie w.b. Altman bevestigd.

Paul van Batenburg

Welk proefschrift? Is dat ergens in te zien?

Willem D. Okkerse MBA CEO OK-Score Institute

Beste,
De OK-Score is niet gebouwd via een discriminanten analyse. Mijn proefschrift gaf juist aan dat de premisse van Altman door met discriminant analyses te werken fout was en onherroepelijk tot een fout in het model moest leiden. Dit is in lijn met de werkelijkheid. In laboratorium opstelling komt Altman tot ca. 78-82% goede voorspellingen, in praktijk zie daartoe Engelsmann, Tache en Hayden (Testing Rating Accuracy 2003) is dat niet boven de 65%. De premissefout is de opvatting dat faillerende bedrijven slechtere ratio's hebben dan niet faillerende bedrijven. Er zijn talloze lopende ondernemingen die slechtere ratio's hebben dan de gefailleerde en omgekeerd. Door wel daarvan uit te gaan en de maximaal discriminerende ratio's er uit te halen zal het model falen. Dit was ook de insteek voor het OK-Score model waarvan Professor E.J. Lammers RA RFA kortgeleden zijn derde assessment schreef ter confirmatie van >98% betrouwbaarheid in het voorspellen van business failures na 15 jaar PRAKTIJK en ruim 2500 beschreven gevallen. Niks geen lab maar bikkelharde praktijk. Een voorbeeld van heden is ABENGOA. Hierover verschijnt vandaag in de pers dat KPMG bij ABNEGOA een kasgeld tekort aantreft van 250 miljoen Euro.
Op 6 augustus 2015 schrijft Ron Boer in DFT zie
http://www.telegraaf.nl/dft/goeroes/ronboer/24346862/__Obligaties_Abengoa_op_de_pijnbank__.html
en verwijst daarbij naar mijn analyse uit 2010 waarin ik al aankondigde dat ABENGOA de nieuwe ENRON affaire zou worden.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.