Nart Wielaard

Toen de nieuwste toepassing van ChatGPT - de chatbot van open.ai - eind 2022 live werd gezet, ontbrandden stevige discussies over wat dit voor de wereld kan gaan betekenen, van nerdy webfora tot aan het NOS Journaal. Dat is begrijpelijk want het is best indrukwekkend hoe dit nieuwe gereedschap onder meer essays schrijft, opleidingscurriculae in elkaar zet of softwarecode corrigeert.
Het is eigenlijk totaal ondoenlijk om de toekomst ervan te voorspellen. Wordt het - zoals sommigen denken - de nieuwe Google? Gaan vrijwel alle kennisintensieve beroepen op de schop en zal de mens straks alleen nog nodig zijn voor het stellen van de juiste vragen, nu de machine immers moeiteloos antwoorden produceert in alle vormen, maten en stijlen?

Twee tweets vatten de onzekerheid goed samen.
Tweet 1 is van de bekende venture capitalist Marc Andreessen, in januari 2023. "We are just entering an AI-powered golden age of writing, art, music, software, and science. It's going to be glorious. World historical. (cursivering redactie)"
Het contrast met tweet 2 is groot. "ChatGPT is incredibly limited, but good enough at some things to create a misleading impression of greatness. (cursivering redactie) It's a mistake to be relying on it for anything important right now. (…)"

De auteur van deze tweet: Sam Altman, nota bene de grondlegger en ceo van OpenAI zelf.  Heeft u ooit een ceo over een eigen product horen zeggen dat het (vooralsnog) vooral goed is in "creating a misleading impression of greatness"? Dat is nogal beangstigend, want overtuigingskracht is eigenlijk ook de belangrijkste factor om misinformatie zijn verwoestende werk te laten doen. En precies op het punt van overtuigingskracht doet AI het steeds beter.

'Precies op het punt van overtuigingskracht doet AI het steeds beter.'

Dan hebben we het niet over eenvoudige diensten, zoals AI-robots die financiële updates van beursfondsen binnen een paar seconden samenvatten tot een nieuwsbericht voor de media, of een minuut na het laatste fluitsignaal een wedstrijdverslag publiceren van een basketbalwedstrijd. Dat is met de huidige stand van de techniek eigenlijk kinderspel - en gebeurt al bij diverse mediabedrijven.

Het gaat om ingewikkelder werk. Denk aan een analyse van de politieke gevolgen van Brexit of een verhaal over de ontbossing van de Amazone. Of, meer in de professionele wereld van de accountant, denk aan een waarderingsrapport, de notulen van een belangrijke meeting of een marktonderzoek. Als u denkt dat het nog heel ver weg is voordat de machine dat soort dingen geloofwaardig in elkaar kan zetten, think again.
Waarom? Omdat de machine overtuigingskracht heeft.

Turing test

We kunnen in dat verband niet heen om de Turing-test: Een beroemde test uit 1950 om na te gaan of een machine als een mens kan denken en redeneren en daarmee ook een test die maatgevend is voor de overtuigingskracht. Onderzoeker Alan Turing introduceerde het 'Imitatiespel', waarbij drie deelnemers van elkaar worden geïsoleerd: een computer (die wordt getest), een mens en een beoordelaar. De computer en de mens proberen de beoordelaar te overtuigen dat zij beide mensen zijn. Pas als de beoordelaar na een aantal vragen niet weet wie de mens is, dan is de Turing-test geslaagd. Geen enkele machine is al geslaagd voor de test, maar we zitten er dicht tegenaan (later volgt in deze serie ook daarover een verhaal). Zo claimde een onderzoeker van Google in 2022 dat AI van Google de test had doorstaan. Hij werd intern echter teruggefloten op deze beweringen. Op een deelaspect was er inmiddels wel een doorbraak: onderzoekers lieten zien dat de computer wel het menselijke ritme van reageren - timing van antwoorden in een conversatie - kan simuleren.

Het bijzondere van ChatGPT is dat deze technologie niet eens een poging doet om de Turing-test te doorstaan. Het is eigenlijk niets meer dan een tekstmachine die een enorme brij aan door mensen gemaakte teksten doorzoekt en met statistische verbanden daaruit iets in elkaar schroeft. Dat is niet eens een poging om op een mens te lijken en komt neer op het versterken van historische patronen. Onderzoekers spreken van een 'stochastische papegaai', oftewel een apparaat dat toeval uitkraamt en geen enkel talent voor redeneren heeft. Sterker nog: Het is de naam AI nauwelijks waardig.

'Als je onzin maar met voldoende overtuiging communiceert, is het nog steeds geloofwaardig.'

ChatGPT wordt wat dat betreft hopeloos overschat. Dat neemt echter niet weg dat iedereen die professioneel op een of andere manier met waarheid(svinding) bezig is, alert moet zijn op deze ontwikkeling. Want met de juiste vragen kan er uiterst geloofwaardige en overtuigende onzin uit komen. En als je onzin maar met voldoende overtuiging communiceert, is het nog steeds geloofwaardig. Dat geldt voor een mens die in een meeting een overtuigend relaas afsteekt. Maar het geldt ook voor een essay dat is gegenereerd met AI.

Door de machine gegenereerde professionele informatie voor artsen en cybersecurity professionals - toch ook behoorlijk kritische lieden - ging er zonder al te veel protest in. Dat geeft te denken. Wat als u als accountant straks denkt heen en weer te mailen met de cfo van uw klant en dat blijkt een machine te zijn? En als u rapporten opneemt als audit evidence in het controledossier, weet u dan dat het echt is of moet er meer onderzoek worden gedaan of u niet te maken heeft met een stochastische papegaai? En wat zijn dan eigenlijk de opties om dat te doen? Een onderwerp voor de volgende aflevering van deze serie.

Dit is deel 2 van een reeks bijdragen waarin Nart Wielaard op zoek gaat naar waarheid in een digitale wereld en wat dat betekent voor de accountant. Deel 1 verscheen op 16 januari 2023. Beluister ook de Vitamine A-podcast met Nart Wielaard over hetzelfde thema.