De Nederlandse Cybersecurity Agenda (NCSA) is in 2018 opgesteld als opvolger van de Nationale Cybersecurity Strategie I en II. De NCSA bestaat uit een zevental ambities met doelstellingen en maatregelen om de digitale weerbaarheid van Nederland te vergroten. Gezien het belang van het onderwerp en de kosten voor de uitvoering van de NCSA is een evaluatie ervan gewenst. Bob, Henny en Koen onderzochen in opdracht van Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC), behorende bij het ministerie van Justitie en Veiligheid, hoe deze evaluatie het best aangepakt kan worden.

De eerste uitdaging waar we tegen aan liepen was het nader duiden van het begrip “digitale weerbaarheid”. Al snel werd duidelijk dat digitale weerbaarheid een veelkoppig monster is dat zich niet in één definitie laat vatten. In plaats hiervan hebben we het geoperationaliseerd door de belangrijkste ingrediënten ervan te combineren in een raamwerk. Deze ingrediënten zijn van organisatorische (strategisch, tactisch, operationeel), procesmatige (identificeren, beschermen, detecteren, reageren) en operationele gedrag, governance, techniek) aard en kunnen het best per doelgroep worden uitgewerkt.

Idealiter geeft een cybersecuritystrategie concreet aan wat de doelen zijn, hoe de maatregelen bijdragen aan het bereiken daarvan, wie de maatregelen neemt, welke indicatoren worden gehanteerd om het effect te meten en wie daar verantwoordelijk voor is. Hier schiet de NCSA duidelijk te kort. Zo ontbreken indicatoren en heeft er geen nulmeting plaatsgevonden. Dit bemoeilijkt de evaluatie van de NCSA.

Het raamwerk als basis voor de evaluatie

Het raamwerk biedt gelukkig handvaten om de evaluatie toch zo goed mogelijk uit te voeren, zonder dat de evaluatie een afvinklijstje wordt. Aan de hand van het raamwerk kan per NCSA ambitie, de onderliggende doelstellingen en de hiervoor beoogde maatregelen het te evalueren effect op een systematische manier in kaart worden gebracht. Hiermee kunnen drie essentiële onderdelen van de evaluatie uitgevoerd worden:

• Een planevaluatie op volledigheid: Is de NCSA volledig of ontbreken er elementen? Door de NCSA op het raamwerk te projecteren kan inzichtelijk gemaakt worden of er geen essentiële doelstellingen en maatregelen ontbreken. Dit lijkt bij opstelling van de NCSA niet gebeurd te zijn. Eén zo’n vlek is bijvoorbeeld de nationale authenticatievoorzieningen als DigiD en eHerkenning; deze komen niet terug in de NCSA en vormen een belangrijk onderdeel van onze weerbaarheid. Naar aanleiding van de planevaluatie kunnen onbewuste ‘blinde vlekken’ aangepakt worden in een volgende NCSA.
• Procesevaluatie op realisatie: Is de uitvoering van de NCSA door de verschillende betrokken partijen gerealiseerd? Als niet alle NCSA maatregelen zijn getroffen zou dit een nadelig effect kunnen hebben op het realiseren van de hieraan gerelateerde ambities en dientengevolge de weerbaarheid. Door in kaart te brengen welke maatregelen er door wie zijn gerealiseerd valt een goed beeld op te stellen aangaande de uitvoering van de NCSA.
• Effectevaluatie: In welke mate hebben de getroffen maatregelen geresulteerd in een verbetering van de digitale weerbaarheid? Dit is de belangrijkste vraag om tijdens de evaluatie van de NCSA te beantwoorden, maar gezien de opzet van de huidige NCSA bijna ondoenlijk om te beantwoorden. Desondanks is het wenselijk om dit te doen. Redenen hiervoor zijn het belang van het onderwerp, het biedt inzichten of de NCSA inderdaad bijdraagt tot het verhogen van de weerbaarheid, het voorziet in een nulmeting op basis waarvan we volgende evaluaties beter kunnen uitvoeren en we kunnen gaan werken in termen van volwassenheidsniveaus, en er ontstaat een cultuur van evalueren als weerbaarheid betreft.

We realiseerden ons dat het ondoenlijk is om de gehele NCSA op effect te evalueren. Prioriteren is dan belangrijk: welke onderdelen zijn wel goed te evalueren of zijn dusdanig belangrijk dat we ze wel moeten evalueren? Kijk vervolgens wat er aan middelen ingestoken zijn, wat er uitgekomen is en of dit heeft geleid tot een verbetering van de digitale weerbaarheid in termen van gedrag (bekwaamheid, motivatie, mogelijkheid), governance en techniek.

Ons advies is om daarnaast tijdens de evaluatie een focus te leggen op leren van de huidige NCSA voor de toekomst. Digitale weerbaarheid is essentieel om de economische kansen van digitalisering als maatschappij te kunnen benutten. Verbetering voor de volgende NCSA en bijbehorende groei van digitale weerbaarheid kan niet zonder een goede -of een in ieder geval zo goed mogelijke- evaluatie van de huidige NCSA. Ons rapport legt daarvoor de basis.

Benieuwd naar hoe we tot deze evaluatieaanpak gekomen zijn? Lees dan het volledige onderzoeksrapport op de website van het WODC.