Nart Wielaard

De machine speelt een steeds grotere rol in het leven van de mens, met name door de dataficatie van de samenleving. Ian Ayres concludeerde een aantal jaren geleden in zijn boek Supercrunchers dat mensen als gevolg van de slimmere technologie straks het hulpje worden van de machine en niet andersom: "Instead of having the statistics act as a servant to expert choice, the expert becomes a servant of the statistical machine."

De machine wordt de bovenliggende partij dus. Dat klinkt aannemelijk, in een tijd waarin AI op hoog tempo de wereld verovert en zo'n beetje alles lijkt te kunnen. Maar in werkelijkheid is het juist een levensgevaarlijke redenering voor Large Language Models (LLM) zoals ChatGPT. Want die modellen hebben een (indrukwekkende) statistische kracht, maar geen (menselijk) redeneervermogen. Dat wordt wellicht anders met de komst van Artificial General Intelligence (AGI), maar dat niveau van AI is volgens veel experts nog minstens tien jaar van ons verwijderd.

Buzz

Dat is ook essentieel om te beseffen voor elke accountant die ermee aan de slag wil. Op menig accountantskantoor is er veel buzz rondom AI. Sommige kantoren omarmen het vol enthousiasme, andere zijn voorzichtiger. Het enthousiasme is logisch, want de AI-modellen kunnen onder meer analyseren, samenvatten, gerichte query's doen op data en schrijven over bevindingen. Dat zijn precies de dingen waar accountants en adviseurs hun professionele leven mee vullen…

'Op menig accountantskantoor is er veel buzz rondom AI. Sommige kantoren omarmen het vol enthousiasme, andere zijn voorzichtiger.'

De vraag is echter: Levert dat ook betrouwbare informatie op? Helaas is dat niet per definitie het geval, precies omdat de modellen niet beschikken over dat redeneervermogen. ChatGPT is daar zelf overigens desgevraagd heel eerlijk in. De chatbot deelt mee dat: "LLMs generate summaries based on patterns learned from training data, without true comprehension of the content. Consequently, they may misinterpret the context and produce inaccurate or misleading summaries." Even verderop is ook te lezen dat het mogelijk is dat de antwoorden "Do not make sense in the given context" en dat "LLMs do not possess the ability to fact-check or verify the accuracy of the information they summarize".

De juiste vragen

Dat zijn tamelijk belangrijke disclaimers die niet alleen duidelijk maken dat voorzichtigheid is geboden, maar ook dat de menselijke expert - u als accountant - vooral goed moet zijn in het stellen van de juiste vragen.

Dat geldt allereerst bij het stellen van de juiste vragen aan het model. Om wat onduidelijke reden wordt daar bij het gebruik van deze modellen niet gesproken over 'vragen' maar over 'prompts'. Hoe specifieker die vragen - pardon prompts - zijn, hoe beter de antwoorden. Op sociale media buitelen de experts over elkaar heen om u te trainen in het formuleren van goede prompts en de functie prompt engineer is opeens populair geworden.

'Op sociale media buitelen de experts over elkaar heen om u te trainen in het formuleren van goede prompts en de functie prompt engineer is opeens populair geworden.'

Het geldt echter nadrukkelijk ook bij het stellen van vragen over de antwoorden van het model. Want ook al is er sprake van een goede prompt, dan kan het model nog steeds vitale dingen missen en onbelangrijke zaken juist benadrukken. Een LLM kan prima in een paar bullets een tekst samenvatten, maar de vraag is dan wel of die bullets de kern raken. Opnieuw biedt ChatGPT zelf een simpel voorbeeld om de risico's te duiden.

Stel dat de originele tekst de volgende is: "Company XYZ reported a decrease in revenue of 10% compared to the previous quarter. However, this was primarily due to a one-time write-off of inventory. The company's operating expenses remained stable, and they expect to see a rebound in revenue next quarter through increased sales initiatives."

Dan maakt het model daar de volgende samenvatting van: "Company XYZ reported a decrease in revenue of 10% compared to the previous quarter. The company's operating expenses remained stable. They expect to see a rebound in revenue next quarter."

Het is uiteraard een haast kinderachtig simpel voorbeeld, maar het maakt wel duidelijk hoe het model in de samenvatting zaken wegknipt die voor de meeste gebruikers van de informatie juist essentieel zijn. ChatGPT heeft dan ook een advies: "It is crucial to consider additional context, such as the reasons behind changes in revenue or expenses, and consult reliable financial sources or expert analysis to gain a comprehensive understanding."

Instructies

Het voorbeeld laat ook zien dat het zinnig is om mensen een duidelijke instructie te geven rondom het gebruik van AI-tools. Louren van Garderen van accountantskantoor Joinson & Spice, een tech-savvy kantoor dat een van de voorlopers is op dit vlak, wijst daar ook op. "We zijn erg enthousiast over de mogelijkheden van AI-tooling. We hebben die geïntegreerd in onze werkomgeving en onze mensen kunnen daarmee allerlei vragen stellen over klantdata, of bijvoorbeeld een eerste concept voor een brief laten schrijven. In de toekomst verwacht ik dat we ook steeds meer externe bronnen zoals databases van RJ, NV COS en dergelijke zullen aansluiten. Er liggen geweldige toepassingen voor ons. Maar het vergt ook zorgvuldigheid. Allereerst natuurlijk over het gebruik van klantdata, waarbij je moet zorgen dat die klantdata binnen je eigen systeemomgeving blijft. Maar ook zorgvuldigheid in hoe je als mens kritisch met de tooling omgaat."

'Er liggen geweldige toepassingen voor ons. Maar het vergt ook zorgvuldigheid.'

Tot slot nog even terug naar Ian Ayres en zijn voorspelling over de relatie tussen mens en machine. Voorlopig lijkt de mens nog wel even de bovenliggende partij te zijn. En die mens moet vooral goede instructies hebben, om de mogelijkheden van AI op een verantwoorde manier te benutten. Dat is ook precies waarom Joinson & Spice direct een AI-policy heeft ontwikkeld, om medewerkers bewust te maken van de kansen en risico's. Een van de hoofdregels daarin: Je neemt honderd procent verantwoordelijkheid voor je teksten, ongeacht of ze met AI zijn gemaakt. Want als mens ben je kritisch en kun je output valideren en cross-checken. Van Garderen: "Als accountant ben je getraind in een kritische houding, onder meer op de door klanten gepresenteerde 'waarheid' in de cijfers. Pas na enkele rondes kritisch doorvragen ontdek je daarin de eerste barstjes of risico's. Als beroep moeten we alleen nog leren over hoe we die kritische houding toepassen op ChatGPT output."

Dit is deel 6 van een reeks bijdragen waarin Nart Wielaard op zoek gaat naar waarheid in een digitale wereld en wat dat betekent voor de accountant. Beluister ook de Vitamine A-podcast met Nart Wielaard over hetzelfde thema.

Op de komende Accountantsdag (23 november 2023) spreekt Nart Wielaard tijdens twee sessies over AI en het accountantsberoep.