Wat is data-analyse nou precies, en wat hebben we eraan?
Ferry Geertman en Hein Kloosterman
De oktobereditie van het Maandblad voor Accountancy en Bedrijfseconomie (MAB) had als thema data-analyse. Een heel MAB vol heel goede artikelen. Maar wat data-analyse nou is, en wat data-analyse aan controle-informatie kan toevoegen: daarover ging deze editie niet.
De oktobereditie van het MAB gaf hoop, want de poging van de stuurgroep om op het symposium 2015 data-analyse binnen een auditmethodologie te plaatsen heeft naar ons idee nog niet tot schrifturen van grote schoonheid geleid.
Met de column over data-analyse en fraudeonderzoek hebben wij een poging gedaan structuur in data-analyse aan te brengen. Komen we op terug. Paul van Batenburg heeft mild provocerend GEAUZOMOFO (afkorting voor 'geautomatiseerd zoeken naar mogelijke fouten') geïntroduceerd. Daar kwamen wij op terug in de column over de vooraf bedachte risico’s inzake de pgb's (persoonsgebonden budget).
De hoop was dus gevestigd op de bijdragen in het MAB. We hebben in die bijdragen gezocht naar een (holistische) beschrijving van data-analyse. Niet gevonden. Het lijkt een voor vakgenoten evident begrip te zijn.
Daarna keken we of en zo ja, welke auditmethodologie is gehanteerd. Die vonden we ook niet. Althans niet expliciet. Daarom zijn we gaan zoeken naar de rol die de auteurs toedichten aan de data-analyses in hun artikelen; daarin was wel een rode draad te ontdekken.
Die draad was de beoordeling van de interne beheersing. Process mining levert een bijdrage aan het zoeken naar inconsistenties in de (primaire) vastleggingen van de events (transacties, deeltransacties). Continuous monitoring (een pleonasme, omdat monitoring eigenlijk continue directe waarneming betekent) heeft vanuit een iets ander perspectief dezelfde doelstelling: de kwaliteit van de interne beheersing beoordelen.
De risicobenadering met behulp van de waardenkringloop zien we voor het gemak als een variant op process mining. Voor de duidelijkheid: volgens ons zijn verbandscontroles naar hun aard organisatiegerichte controlemaatregelen. De BRA-benadering (business risk analysis) is niet consistent met het audit risk model, omdat de BRA-benadering zoekt naar waar het fout kan gaan en het audit risk model zoekt naar (voor-)informatie over hoe goed (deel)populaties zijn.
Zoals gezegd - en uit onze zoektocht in de artikelen in het MAB kan worden afgeleid - hadden we twee hoofdlijnen verwacht. Ten eerste wat moeten we onder data-analyse verstaan. Ten tweede hoe de evidence die eruit voortvloeit kan worden gebruikt bij het bepalen van noodzakelijke vervolgstappen. Beide komen niet uit de verf.
Onze vraag aan de auteurs - of andere lezers - is nu: levert u de 'missende paragraaf' of moeten wij dat doen?
Bij uw eerste reactie op deze site vragen wij om een bevestiging.
Er is een bevestigingsmail naar het door u opgegeven e-mailadres gestuurd.
Willem D. Okkerse MBA CEO OK-Score Institute
Wim Zo hoor ik het nou graag. Overigens, wij gebruiken voor de OK-Score berekening de bestaande jaarverslagen die volledig vertaald worden naar 25 standaard input velden. (zeg maar een eigen soort XBRL
Wim Nusselder
Dank je, Glenn, een heel bruikbare tip! Wat mij intrigeert is het idee dat je data die vanuit het ene perspectief verzameld zijn (en die vanuit dat perspectief gemanipuleerd worden, zeker als dat verzameldoel verantwoording is) ook vanuit andere perspectieven kunt beschouwen en er dan heel andere informatie uit kunt halen. IATI-data, verzameld om verantwoording af te kunnen leggen over hulpresultaten, kun je ook beschouwen als indicator van ongeplande, transformatieve verandering, van de empowerment (doelgroepen die hun eigen doelen gaan stellen) waar het in ontwikkelingssamenwerking eigenlijk om gaat. Imperfecties in de dataset zijn dan aanwijzingen dat de taxonomie een keurslijf was waar de realiteit niet meer in paste (als je de aanwijzingen van fraude er uit weet te filteren, uiteraard). Ook uit databases die ten grondslag liggen aan boekhoudsoftware valt veel meer informatie te destilleren dan waarvoor ze bedoeld zijn (en misbruikt worden: om fatsoenlijke AO/IC te faken). Zo is het superuser-risico dat Frans signaleert misschien heel makkelijk te ondervangen door de (met het oog op rechtenbeheer verzamelde) gegevens te analyseren op wat SUPERUSER heeft uitgespookt en op welke tijden. Koppeling van de momenten waarop SUPERUSER rechten van andere gebruikers aangepast heeft, tijdelijke gebruikers gecreëerd heeft etc. en wat die andere/tijdelijke gebruikers uitgespookt hebben kan signalen van fraude opleveren.
Pieter de Kok
Dag Jan,
What you see is what you get..Hiermee verwijs ik primair naar eventlog en de ruimte om dit log uit te breiden naar eigen inzicht los van de vier minimale velden. Net als elke deelverzameling, zelfs een handmatige, bestaat hier inderdaad de mogelijkheid data wel / niet toe te voegen.
Een van de feitelijke uitdagingen vanuit audit overweging (hoe ben ik volledig voordat ik ga minen) is overigens verbluffend eenvoudig op te lossen en gelijk aan basisregel die altijd van toepassing is: altijd aansluiten van het eventlog op GL.
Dan nog werk je met data die er is.
Het zogenaamde vraagstuk van "missing data" lossen we met process mining (nog) niet op. Daar zijn andere technieken voor, met name gericht op relaties zoeken met andere primaire registraties, liefst buiten de organisatie tot stand gekomen.
We zijn in 2011 als een van eerste kantoren gestart met process mining in audit, hele kleine stapjes, veel tijd verloren met verkeerde eventlogs, maar ik denk dat we nu vier jaar verder, ook verwijzende naar recente publicatie van collega Angelique Koopman samen met grondlegger process mining prof Wil van der Aalst, heel ver zijn met een eerste methodologie model. Samen met TIlburg komt er rondom dit thema een vervolg en ook publicatie in het voorjaar 2016 van collega Angelique samen met Tilburg mensen.
Parallel werken we met Philip Elsas samen om het AR model en process mining ism data-analyse en steekproeven beter op elkaar aan te sluiten, mede ook vanuit "understatement" gedachten (wat we niet zien). Maar ook vanuit groeiende belangstelling voor dit onderwerp en ons belang om process mining en data-analyse (naast gebruiker zijn we ook reseller) goed te positioneren, ook richting vaktechniek en toetsers.
Zowel Angelique, mijzelf als leden van SIG process mining als Philip Elsas graag bereid mee te denken en kennis te delen! Samen sterker.
Glenn Mungra
Dankje voor je opmerking Wim. Ik realiseer me nu, door jouw opmerking, dat data-analyse, zonder de nodige verheldering en inzicht, vroegtijdig zou kunnen stuiten op onbegrip, onbekendheid, ingewikkeldheid, onbruikbaarheid, afschrikking etc.
De ene tip is de andere waard. T.a.v. de 'verantwoording van ontwikkelingshulpinspanningen' kwam ik een aanpak tegen die in aangepaste vorm voor jou misschien ook bruikbaar kan zijn: Conflict barometer 2013, Heidelberg Institute for International Conflict Research. https://lnkd.in/eCx-TwK
In hun methodologie (pagina 7 t/m 10) onderscheiden zij de middelen en gevolgen van het onderzochte fenomeen (onderzoek van een conflict in de wereld). Uiteindelijk komen zij uit op zgn. 'observers' een soort geaggregeerd plaatje van het onderzochte fenomeen waarmee je in een oogopslag de indicatoren kunt bijhouden (een soort scoreboard waarmee je ook de impact en risico's kunt classifiseren). Voor fundraising hebben ze een interactieve wereldkaart gebouwd van de researchresultaten, waarin de gebruiker naar believen kan bladeren en doordrillen (pag. 150).
Jan Pasmooij
Is duidelijk dat problematiek actueel is, maar ook dat er nog geen duidelijke oplossing (methodologie) is. De opmerking over process mining is interessant, want "What you see is what you get"klopt in de praktijk niet. Want de keuzes die je maakt bij het samenstellen van je eventlog bepaalt welk plaatje van het proces je ziet. Er zijn dus meerdere plaatjes mogelijk van het zelfde proces (Mieke Jans). Een interessant gegeven als je op basis van een plaatje een uitspraak moet doen (assurance geven). Misschien is er toch nog het een en ander dat om nader onderzoek vraagt. Inmiddels hebben Paul, Hein en ik afspraak gemaakt om hier verder naar te kijken. Lijkt mij iets voor een klein werkgroepje. Wie doet mee? Ik begrijp dat Pieter zich al heeft aanmeld?
Wim Nusselder
Ik lees dit gesprek mee met enige interesse (maar ook met enige moeite, i.v.m. de noodzakelijke vertaalslag) vanuit een Data4Develpoment-perspectief. Overheidsgefinancierde ontwikkelingsorganisaties zijn verplicht om data te verzamelen en publiek beschikbaar te stellen over hun ontwikkelingshulp en (m.i.v. volgende jaar) de resultaten daarvan. M.n. die noodzaak van een taxonomie en zicht op de data-genererende processen vond ik een verhelderende constatering van Glenn.
Tijdens de accountantsdag is kennelijk geconstateerd dat accountancy het lot der dino’s misschien kan ontlopen door zich op maatschappelijke verantwoording in bredere zin te richten. Verantwoording van ontwikkelingshulpinspanningen is een terrein waarop dat zou kunnen. Ik houd me aanbevolen voor wie wil meedenken; ik ken een aantal organisaties die er mee geholpen zouden kunnen worden.
Glenn Mungra
Hein heeft het over een methodologische verkenning van data-analyse als instrument langs twee hoofdlijnen, nl. de 'business risk analysis' benadering en de 'audit risk model' benadering. Hij stelt bovendien nog twee vragen wat is data-analyse en hoe gebruik je evidence daaruit. Ik herleid deze vragen hieronder tot twee methodologische eisen.
Taxonomie Bij deze vragen denk ik ten eerste dat Hein eigenlijk de behoefte uitspreekt aan een soort woordenboek , een taxonomie. In de taxonomie is de betekenis systematisch vastgelegd, niet alleen van de data zelf maar ook van de conceptuele 'meta-dimensie' daaromheen (een beschrijving van de context van procedures rondom die data, de aard van de relaties met andere data, eisen en beperkingen vanuit gestelde organisatorische doelen of - beslisregels en - van externe regelgeving, etc.).
Want data is eigenlijk slechts ruimtebeslag zonder waarde als je niet weet wat de praktische en inhoudelijke attributen ervan zijn, zoals: wat het betekent, waar het vandaan komt, gebruiksdoel en de bijbehorende kwaliteitseis of validiteitseis, 'houdbaarheidsdatum', etc. Deze data attributen zitten a.h.w. als de schil van een ui om de data heen (maar deze laatste vergelijking gaat niet helemaal op want van de context van data kun je soms niet alleen huilen maar ook lachen en dat laatste zie ik niet zo gauw gebeuren als je een ui pelt.) Kortom zo'n voorgestelde taxonomie kan als conceptueel kader een grote rol spelen in praktische zin.
Processen Tegelijk kaart Hein eigenlijk ook een tweede probleem aan, nl. het zgn. gebrek aan data-processen. Om de techniek toe te passen moet de organisatie er eerst rijp voor zijn. Alle data komen intrinsiek of afgeleid uit een of ander proces, zelfs data die uit de duim gezogen worden. Dus zonder de organisatiecultuur en de interne controle procedures waarin deze data ingebed zijn, is de context van de data niet goed te bepalen. Of, anders gezegd, als deze processen onbekend zijn is de waarde van de data en de bijbehorende risico's ook niet goed in te schatten.
Data-analyse? Uit de twee voorgaande analyse blijkt dat de accountant, die data-analyse gebruikt, de beschikking zal moeten hebben over de context van de data en de bijbehorende processen.
Pieter.dekok@coney.nl
Beste Hein, wanneer kom je langs, gaan we een paar process mining cases door samen!
Meta data? Stakeholders? What you see is what you get. Hoezo is dit een process mining vraagstuk?
Dat process mining is gebaseerd op eventlogs, bestaande data dus, is een feit. Onvervangbare interne controle? Ander vraagstuk, andere oplossing.
Wanneer gaan we zitten? Gelijk het methodologie model, assurance obv data-analyse en process mining op papier zetten?
Ik kijk er naar uit! We kunnen gelijk wat andere mensen die dezelfde vragen hebben laten aansluiten. Ook Tilburg heeft interesse. Ik denk ook aantal auditors bij collega kantoren die volop met bijvoorbeeld process mining nu net als wij aan de slag zijn. Bel je of email je mij?
Fijn weekend!
Hein Kloosterman
@ Frans Kersten Mijn 'vreemde' reactie is gebaseerd op de eerste drie reacties. De vraag is dus (bijvoorbeeld) of je met process mining een oordeel over de onvervangbare interne controle kunt geven. Naar mijn overtuiging is dat niet zo. De data die bij process mining wordt gebruikt komt uit het systeem. In het ideale geval constateert de accountant dat die data consistent zijn. Dan heeft hij dat aangetoond. Maar hoe staat het met de volledigheid van die data? En zijn de metadata wel toereikend voor de informatiebehoefte die er bij de stakeholders bestaat? En, zoals jij ook stelt: is er wel aan de randvoorwaarden voor de IT voldaan. Je bent dan nog niet klaar met een paar parafen op papier te bekijken (veelal ziet men dat als procedure-tests). en dan noem ik eigenlijk alleen nog maar de situatie dat de consistentie is aangetoond. Wat als de data laten zien dat updates roet in het eten gooiden (eigenlijk een general control die had moeten werken: change management en testen en de hele boel)? Of dat er een nieuwe informatiebehoefte ontstond en er velden bij gedefinieerd moesten worden (zie eind vorige volzin)? Mijn voorlopige conclusie luidt dan ook: wees voorzichtig met het aggregeren van evidence uit data-analyse die het beoordelen van de organisatie ondersteunt. Probeer die technieken vooral uit om de gesloten ogen rond het beoordelen van interne beheersing in samenhang met de IT te openen. Probeer tegelijkertijd bij redelijk volwassen organisaties - ook v.w.b. IT en control ervan volwassen - te leren hoe intern vertrouwen in de organisatie (inclusief IT) wordt opgebouwd. Kijk daarbij ook of en in hoeverre men methodologisch te werk gaat: geen nattevingerwerk dus. En dan nog even onderzoeken hoe data-analyse als gereedschap voor het gegevensgerichte deel van de controle kan worden gebruikt. Van die dingen.
Frans Kersten
Excuus: 2 correcties: vindt je m/z vind je en Mungro m/z Mungra
Frans Kersten
Beste Hein, Ik vind dit een wat vreemde reactie. Lees de NV-COS erop na en de hele theorie inzake vervangbare en onvervangbare interne control en het (mogelijke) effect op de strekking van de verklaring vindt je daarin niet terug, Voorts is de basis opgeschreven in een tijd waarin er nog niet of nauwelijks ICT was. Ik heb zelfs in een rapport van de AFM een totaal verkeerde interpretatie van 'duale purpose' tests aangetroffen. En als we het dan toch over 'onvervangbare IC' hebben: Dan verbaas ik mij over het gemak waarmee accountants nog altijd omgaan het fenomeen 'superuser'. Zeker in kleine organisatie kan de systeem beheerder overal bij en het door Mungro gesignaleerde probleem veroorzaken zonder dat iemand er iets van ziet. Ik constateer enkel dat vakliteratuur grote leemten bevat waar het gaat om de theoretisch inpassen van het in de praktijk veel toegepaste data-analyse. Lijkt mij dat dat moet kunnen binnen passende kaders.
Hein Kloosterman
Wij zijn als leden van de stuurgroep overgoten met het beginsel van de 'onvervangbare interne controle'. Dat betekent dat alle elementen van de interne beheersing die moeten vaststaan en achteraf niet kunnen worden hersteld niet door middle van data-analyse kunnen worden gerepareerd. Ik noem deze controls wel 'voorwaardelijk'. Ik zou graag zien dat de reagenten hun tekst daar even op nalezen.
Glenn Mungra
Paul: Je hebt gelijk met: "wat zegt het zoeken en vinden van fouten over de resterende waarnemingen?"
Het ideaal is dat je via data-analyse een indicatie probeert te krijgen over de populatie en dus (ook) over de resterende waarnemingen in de populatie. Dan wil je dus via onderzoek naar het karakter van een gekozen deel van de populatie een uitspraak afleiden over het karakter van de hele populatie. Dat kan alleen als je de hele populatie betrouwbaar kunt simuleren of afleiden via data-analyse. Dat vereist dat alle hiaten in de informatie die uit de data-analyse verkrijgt methodologisch gerepareerd worden (althans tot een minimaal bevredigend niveau).
Ik weet niet of dat kan,maar misschien zitten er meer mogelijkheden tussen 0 of 1 en ja of nee.
Glenn Mungra
Frans: Goed idee. Maar je hebt het dan over fouten die je vooraf kunt constateren en achteraf nog kunt repareren m.b.v. data-analyse. Hoe zit het met de onvervangbare maatregelen van ICB in en rondom het systeem. Hoe gaat data-analyse om met bijv. diefstal door een fysieke transactie uit de realiteit van begin tot eind niet te boeken in de beschrijvende realiteit van het systeem?
Paul van Batenburg
@Frans, dat kan ik mij goed voorstellen: wat zegt het zoeken en vinden van fouten over de resterende waarnemingen? Zijn die DUS goed of juist DUS ook misschien fout? Als de piloot van de eerste vlucht Dreamliner omroept dat er gisteren tijdens de testvlucht nog heel veel fouten zijn gevonden, ga je dan rustig achter over zitten?
Frans Kersten
Maak het verhaal dan a.u.b. wel compleet door daarin ook de situatie te verwerken waarin de klant data-analyse en monitoring toepast. Wij passen data-analyse toe omdat het basis informatiesysteem geen of onvoldoende geprogrammeerde controles bevat om fouten vooraf af te vangen c.q. waar dit vooraf niet mogelijk is. Op de met data-analyse geconstateerde fouten is een proces van toepassing dat (bewaakt dat) alle gesignaleerde fouten (tijdig) worden opgelost. Wij merken dat accountants en toezichthouders de grootste moeite hebben om dit op waarde te schatten.
Glenn Mungra
Ik begrijp dat het gaat over een aanvulling op het audit risk model voor onderzoek van informatie in de jaarrekening m.b.v. data-analyse. Ik kwam daarvoor een aardig handvat tegen: bootstrapping, https://en.wikipedia.org/wiki/Bootstrapping_%28statistics%29
De methode is de moeite waard omdat het voldoet aan de eis van efficiency van de controle en inzicht in de risico's die afgedekt moeten worden. Bovendien kan het ook uitmonden in simulatie en daarmee ook waarde hebben voor de klant. (zie de 3 eisen in het commentaar van Ivo Roest).
De methode komt erop neer dat je conclusies trekt over de populatie op grond van een serie herhaalde steekproeven met teruglegging uit de werkelijke populatie. De methode is ook bruikbaar bij ontbrekende data, onderling correlerende data, data in tijdseries, data clusters, Bayesiaanse statistiek, simulaties etc.
Er zitten wel wat minpunten aan de methode: systematisch scheve verdeling in de bootstrap kan tot een systematische fout leiden; relaties tussen data kunnen zonder tegenmaatregelen verloren gaan; sommige schattingen worden overtroffen door andere methodes https://en.wikipedia.org/wiki/Resampling_%28statistics%29#Bootstrap).
Pieter de Kok
Mooi Hein!
Als ik mee moet denken graag, wij hebben vooralsnog ea verankerd in het (aloude) AR model.
Ivo Roest
Een goede methodologie geeft antwoord op de vraag waarom we dingen ook alweer doen, en hoe je die optimaal bereikt: (1) Informatie verkrijgen over de risico's die afgedekt moeten worden (ter ondersteuning van de professionele mening van de accountant) (2) Efficientie van de controle (niet geheel onbelangrijk) (3) Waar mogelijk toegevoegde waarde voor de klant
Als je daarop een antwoord kan geven, dan krijgt de inzet van het middel data-analyse/steekproven automatisch richting.
Paul van Batenburg
@Jan: willen die studenten mijn verhaal een keer horen? Overigens heb ik mezelf betrapt op een hele leuke spelfout: met "baadt het niet dan schaadt het niet" zou een student bij mij niet wegkomen!
Hein Kloosterman
Is het een idee dat we als stuurgroep, we hebben er immers toch al ettelijke keren over nagedacht, eens een (methodo)logische voorzet te geven? En dan ook nog popper-proof?
Jan Pasmooij
Eens, met de reactie van Paul. Er is behoefte aan een methodologische onderbouwing van het gebruik van data-analyse voor het vergaren van assurance. Voor accountants van belang te weten wanneer en onder welke (rand)voorwaarden uitkomsten van data-analyse kunnen en ook mogen worden beschouwd als controle-informatie. Aantal van mijn studenten (IT-auditing opleiding EUR) is in het kader van hun afstuderen bezig met dit vraagstuk. Graag bereid om mijn/ons steentje daar aan bij te dragen.
Paul van Batenburg
Zoals gevraagd: helemaal mee eens: steekproef om te kijken welke foutsoorten de moete waard zijn om met data-analyse op te sporen houdt data-analyse efficient. Zo deden we het vroeger: eerst denken dan doen. Nu hebben we zoveel computerpower dat we eerst doen en dan denken: data-analyse om fouten er uit te halen en dan een steekproef om te kijken of we wel effectief waren. Baadt data-analyse niet dan schaadt die niet. Positiever geformuleerd: waarom zou je niet opschonen wat er op te schonen is en dan pas gaan controleren? Vanzelfsprekend! Dit laat onverlet, en dat lees ik ook in de ze bijdrage, dat er behoefte is aan een methodologische onderbouwing van het gebruik van data-analyse voor het vergaren van assurance. Ook na het lezen van het MAB is die behoefte er nog steeds.
Pieter de Kok
Mannen,
Ik had afgelopen dinsdag (toeval?) een leuk gesprek met Paul over exact deze vraag. We zaten heel snel op éën lijn. Ik heb Paul net even gemaild om te bellen, volgens mij kunnen we jullie vragen met een joined statement (Steekproef + Data-analyse) met paar eenvoudige toelichtingen beantwoorden en is dit opgelost. Om het samen te doen verbinden we direct. Krachten bundelen! Ik wacht belletje van Paul even af. Dank voor de aanhoudende aandacht voor data-analyse en process mining. Top!
Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.
Aanmelden nieuwsbrief
Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.
