Magazine 08 december 2017

Wie controleert het algoritme?

De komst van de slimme samenleving vol digitale hulpjes en platforms is niet alleen een ingrijpende technologische ontwikkeling. Ook het borgen van vertrouwen in (de algoritmes van) die samenleving gaat compleet op de schop. ‘Als ik accountant was zou ik me vooral druk maken over de blockchain.’

Dit artikel is verschenen in Accountant Q4, 2017

Bekijk alle artikelen uit dit nummer

» Download dit artikel in pdf

Zonder vertrouwen staat alles stil. Je knoopt geen relaties aan, durft geen pak melk te kopen en koopt geen aandelen op de beurs. Nu technologie een steeds prominentere rol krijgt in onze samenleving - en algoritmes onze beslissingen gaan domineren - is het zaak dat we die technologie ook kunnen vertrouwen. Heel simpel: als een arts een diagnose vaststelt op basis van een algoritme, dan wil je weten of het algoritme deugt.

De vraag is dan ook: hoe zorgen we voor vertrouwen in de slimme samenleving?
In oktober bracht de Australische Rachel Botsman een boek hierover uit - Who Can You Trust? Een maand later verscheen in Nederland het boek ‘Vertrouwen in de slimme samenleving’, wat ondergetekende samen met Sander Klous schreef. Reden om Botsman op te zoeken tijdens haar promotietour in Londen en uit te vinden waar ideeën vanuit down under en Nederland matchen en waar ze botsen.

Botsman is een halve rockstar. Haar Ted Talks hebben miljoenen views op YouTube en haar nieuwe boek gaat vergezeld van een world tour. Ze is charmant en vlijmscherp tegelijk en strooit achteloos met oneliners om haar betoog kracht bij te zetten. ‘In codes we trust.’ Tijd om naar de inhoud te gaan.

Nulpunt

Botsmans belangrijkste boodschap is dat institutioneel vertrouwen niet langer werkt. Het vertrouwen in instituties - banken, politiek, accountants - is tot onder het nulpunt gedaald en er is eigenlijk maar één partij die we nog wel vertrouwen: onze peers. Oftewel onze collega’s, onze vrienden, maar soms ook wildvreemden. Een paar duimpjes op internet zijn genoeg om een wildvreemde te vertrouwen bij het delen van een auto of het (ver)huren van een kamer.

Botsman spreekt van distributed trust en stelt vast dat de mens met achteloos gemak het vertrouwen geeft aan technologie: “Een van de mythes rondom vertrouwen is dat we heel gierig (stingy) zijn met het geven ervan. Maar het tegenovergestelde is waar: we geven dat vertrouwen juist heel gemakkelijk, zeker aan een robot of een algoritme. Neem de zelfrijdende auto: vaak wordt gezegd dat het lastig wordt om mensen daarin te laten stappen omdat ze de machine niet vertrouwen. De realiteit is heel anders: na twintig minuten in zo’n auto zijn mensen niet langer opgefokt erover, maar gaan ze relaxen en zich vervelen. Typerend: bij een van de ongevallen met een zelfrijdende auto werd een Harry Potter-dvd gevonden. De eigenaar gaf de machine blijkbaar alle vrijheid en vertrouwen. Hij had ook zelf de red button kunnen gebruiken, maar vond het niet nodig op te letten.”

Mad

Tot zover is er een grote overeenkomst met ons gedachtengoed. Ook wij stellen vast dat mensen - vaak vooral vanwege het gebruiksgemak - achteloos algoritmes gebruiken, variërend van een zoekmachine tot een professionele toepassing voor risicoanalyse. Zonder stil te staan bij de vraag of dat onder de motorkap allemaal wel deugt. Botsmans concept van distributed trust is haast letterlijk terug te zien in onze nieuwe blik op de wereld volgens drie principes - modulair, agile en decentraal, kortweg MAD. Die laatste - decentraal - is vrijwel geheel inwisselbaar met Botsmans gedistribueerde vertrouwen.

In onze schets van mogelijkheden om toezicht en controle volgens dat decentrale principe in te richten, spreken wij van het miljoenogenprincipe: controle en toezicht wordt dan niet centraal maar door een collectief van individuen gedaan. Ongeveer zoals ‘waarheid’ op Wikipedia ontstaat: doordat een gemeenschap van ongeorganiseerde gebruikers elkaar corrigeert en zo met collectieve zelfcontrole samen lemma’s onderhoudt. Dat principe wordt voorzichtig ook steeds vaker toegepast door andere partijen, die bijvoorbeeld geen geheim meer maken van hun algoritmes en specialisten en leken laten meekijken en/of meebouwen. Civicscape, een ontwikkelaar van predictive policing diensten - surveilleren op basis van data - komt kritiek op de vermeende discriminerende werking van haar algoritme tegemoet door het te publiceren op ontwikkelplatform GitHub. Want: “Many eyes make our tools better for all.”

Botsmans kijk op dat miljoenogenprincipe resoneert niet helemaal. Of helemaal niet: “Het faciliteren van gedistribueerd vertrouwen komt volgens mij vooral voort uit de innovaties van organisaties. Platforms kunnen bijvoorbeeld nieuwe technologie op basis van artificial intelligence inzetten, om te zorgen dat je met een gerust hart je huis kunt verhuren of een babysitter kunt kiezen die volgens anderen betrouwbaar is. Maar je ziet ook op heel andere terreinen dat het aloude institutionele vertrouwen door innovaties plaatsmaakt voor een ander concept. Denk
aan hoe massive online open courses (MOOC’s) universitair onderwijs van hoog niveau sinds een paar jaar mogelijk maken voor iedereen met een internetverbinding. Dat staat of valt met vertrouwen in hoe de studenten ermee omgaan.”

Transparantie galore

Ander thema dan: transparantie. In onze optiek maken we verschil tussen blind vertrouwen - je drinkt een pak melk zonder op onderzoek uit te gaan hoe die melk is geproduceerd - en geïnformeerd vertrouwen - je stelt als investeerder pas je vertrouwen in een bedrijf nadat je je goed hebt geïnformeerd. Toen de financiële sector het vertrouwen probeerde terug te winnen na de crisis werd vrijwel exclusief ingezet op het laatste. De gedachte: als we meer informatie verstrekken dan winnen we het vertrouwen terug. De realiteit is echter dat transparantie een dramatisch slecht medicijn blijkt tegen wantrouwen.

Want de gemiddelde burger wil juist blind kunnen vertrouwen op zijn bank of pensioenfonds en vooral geen ingewikkelde verhalen. En onze hersens werken helaas ook nog zo dat meer informatie leidt tot wantrouwen. Aan Botsman de vraag of ze het daarmee eens is. En zo ja, wat betekent dat voor het vertrouwen in de slimme samenleving? “Ik zie waar je vandaan komt ten aanzien van transparantie. Het vernietigt eigenlijk het doel van vertrouwen. Ik zie vertrouwen als een kracht die mensen helpt om de kloof tussen onzekerheid en zekerheid te overwinnen. Mijn definitie: Trust is a confident relationship with the unknown. Met andere woorden: als banken of overheden moeten gaan uitleggen hoe ze werken, dan hebben we het als maatschappij eigenlijk opgegeven met vertrouwen. Ik sprak onlangs met de chief economist van de Bank of England, Andy Haldane en hij zei interessante dingen in dat verband. Openheid draagt ook volgens hem niet altijd bij aan het vertrouwen en het begin van de financiële crisis was daarvan een duidelijk voorbeeld. Openheid was toen zeker niet gewenst. That would have been (like) shouting ‘fire’ in the theatre. Hoe dan ook is duidelijk dat het concept van institutioneel vertrouwen niet goed werkt in het digitale tijdperk.”

Accountants

Over naar de rol van accountants. Ook het vertrouwen in accountants is nog steeds laag. Ziet Botsman voor hen een rol in het tijdperk van het gedistribueerd vertrouwen? Kunnen zij bijvoorbeeld assurance gaan geven bij de algoritmes die ons leven en onze beslissingen steeds meer bepalen?

“Accountants maken deel uit van de wereld van het institutioneel vertrouwen waar nu zoveel twijfel over is. Dus nee, ik zie hen geen rol spelen bij het beoordelen van de ethiek en de intenties van algoritmes. Wat we nodig hebben is een compleet nieuwe set aan regels met een heel nieuwe benadering van assurance, risico’s en betrouwbare systemen. De oplossing is niet langer top down, centraal en lineair. Eerder gedistribueerd, verpersoonlijkt en gesocialiseerd. Als ik een accountant was zou ik me vooral druk maken over de blockchain. En specifieker over de smart contracts die daarmee mogelijk worden. Zeker, sommige ideeën rondom blockchain zijn erg overhyped en zullen waarschijnlijk mislukken. Maar waar ik niet aan twijfel is dat de kostprijs van vertrouwen omlaag gaat. De third parties die nu worden betaald om vertrouwen te borgen - toezichthouders, accountants etc. - zullen hun waarde moeten laten zien om niet te worden vervangen door het ledger van blockchain.”

Kaspersky

Duidelijke taal, een beetje onheilspellend ook voor accountants. In onze optiek zijn er juist wel mogelijkheden voor het vak om zich in die wereld van gedistribueerd vertrouwen onsterfelijk te maken. Waarom zouden accountants niet de regisseur kunnen zijn van het eerder genoemde miljoenogenprincipe?

Een recente aankondiging van Kaspersky is een mooie sign of the times. Het bedrijf ligt onder vuur vanwege vermeende Russische overheidsinmenging en gaat als antwoord daarop de broncode van haar beveiligingssoftware delen met (volgens Reuters) een ‘bredere beveiligingsgemeenschap’ en externe specialisten de gelegenheid geven om de software onder de loep te nemen. In transparancy centers in verschillende geografische regio’s kunnen klanten dan kennis nemen van de bevindingen van die specialisten.

Dat is een model waarin accountants(kantoren) een grote rol kunnen spelen. Mits ze zich omringen door inhoudsspecialisten, maar dat doen ze nu ook al op tal van terreinen. Bovendien: het denkmodel wat de basis vormt voor de accountantscontrole (voor de liefhebbers: AC = IR x IC x DC) is perfect bruikbaar om ook de risico’s van algoritmes gestructureerd te bekijken. Sterker nog: zo’n denkmodel is misschien wel precies wat de slimme samenleving nodig heeft.

Kill switch

Tot slot: een recente resolutie van de Luxemburgse Europarlementariër Delveaux roept op tot aandacht voor de hiervoor benoemde controleerbaarheid van algoritmes en/of robots, maar stelt ook dat er altijd nog een kill switch moet zijn als systemen dingen gaan doen die we echt niet willen.

Is zo’n kill switch ook in de ogen van Rachel Botsman een goed idee? “Absoluut! Mijn dochtertje ging aan de slag met Alexa, de personal assistant van Google. Ze ging dat ding al snel volledig vertrouwen, met als resultaat dat ze Alexa ook liet bepalen welk jurkje ze aan moest trekken. Toen heb ik Alexa uitgezet. Want ik wil dat ze zelf nadenkt en dat niet laat bepalen door een algoritme. Ik denk dat het goed is om een trust pause in te bouwen in het ontwerp van producten.”

Leesvoer

Who can you trust How Technology Brought Us Together - and Why It Could Drive Us Apart, door Rachel Botsman
Als je instituties niet meer kunt vertrouwen, wie dan nog wel? Aan de vooravond van één van de grootste sociale omwentelingen in de geschiedenis.
Verschenen in oktober 2017, uitgave Penguin Books. Engelstalig, 336 pagina’s. ISBN13: 9780241296172.

Vertrouwen in de slimme samenleving, door Sander Klous en Nart Wielaard
Wat het betekent als we alles Modulair, Agile en Decentraal gaan inrichten.
Verschenen november 2017, uitgave Business Contact. Nederlandstalig, 192 pagina’s. ISBN13: 9789047011293.