Ook bij de overheid wordt steeds vaker met algoritmen gewerkt, laat een verkennend onderzoek van het CBS uit 2018 al zien. In het rapport wordt ingegaan op het soort algoritmen dat gebruikt wordt en hoe men omgaat met het inzetten van algoritmen. De behoefte aan een beleid op het gebied van inzichtelijkheid, transparantie, validiteit en betrouwbaarheid van de algoritmen komt als een van de belangrijke punten uit het rapport naar voren.

 

Vanuit het ministerie van Binnenlandse Zaken werd in 2019 opdracht gegeven voor een onderzoek naar dit thema, met een focus rond de inrichting van toezicht op overheidsalgoritmen. Zij lieten het onderzoek doen door Hooghiemstra & Partners, die zich richten op drie onderzoeksvragen: 

  1. In welke mate is er op dit moment een juridische basis voor toezicht op overheidsalgoritmen?
  2. In welke mate wordt op dit moment in de praktijk uitvoering gegeven aan toezicht op overheidsalgoritmen?
  3. Welke beleidsadviezen zijn te geven op basis van de resultaten van het onderzoek?

 

In dit artikel geef ik mijn visie op het rapport dat Hooghiemstra & Partners publiceerde.

Het belang van toezicht op overheidsalgoritmes

Dat er een wantrouwen is tegen de besluiten van een computer of een algoritme is goed te begrijpen. Voorbeelden van momenten dat algoritmen zonder pardon de verkeerde keuzes maken zijn er legio, van grote tech bedrijven zoals Google en Amazon, tot ontwikkelingen bij onze eigen overheid. Aan de onderzoeksvragen van Hooghiemstra & Partners kunnen we echter al zien dat enkel wantrouwen niet genoeg is voor het inrichten van toezicht. Hiervoor moet een juridische grondslag zijn.

Deze juridische grondslag voor controle op overheidsalgoritmen wordt gevonden in het feit dat een algoritme gebruikt wordt door een overheid om invulling aan haar taken te geven. “Als (lokale) overheden wetten geautomatiseerd uitvoeren, maken zij een interpretatie van de wet die vervolgens voor een lange periode geldt en op alle gevallen wordt toegepast.” (p.19). Toezichthoudende organisaties zijn belast met het toezichthouden op die taakuitvoering en daarmee dus ook op de algoritmes. Het belang van goed toezicht wordt nog eens extra benadrukt door het feit dat de algoritmen vaak door private partijen ontwikkeld worden.

Toch hoeft niet ieder algoritme aan volledige controle onderworpen te worden, ook rondom de inrichting van het toezicht zijn nog veel zaken onduidelijk. Hoe kan toezicht op overheidsalgoritmen ingericht worden? En voor welke algoritmes is het wenselijk?

De uitdagingen bij toezicht houden op overheidsalgoritmes

Het inrichten van het toezicht op algoritmen bij overheden is complex doordat de controle niet mag leiden tot dermate veel transparantie dat vervolgens, bijvoorbeeld, de volledige methodiek van fraudedetectie op straat legt. Hooghiemstra & Partners suggereren dat standaarden voor overheidsalgoritmen hier wellicht een rol kunnen spelen. 

Daarnaast is onduidelijk voor welke algoritmen toezicht nodig is. Hierbij is impact van het algoritme een belangrijk ijkpunt. Echter,  Hooghiemstra & Partners kaarten, terecht, aan dat de definitie van impact, met betrekking tot algoritmen, vaak nog veel vragen oproept. In het rapport definiëren ze impact aan de hand van twee elementen. Hoe ingrijpend een algoritme is, wordt niet alleen bepaald door het model zelf, maar ook door wat met de uitkomst van het algoritme wordt gedaan. Mag het algoritme een besluit nemen dat vervolgens zelf uitvoeren? Of wordt een uitkomst naar een mens doorgezet, die vervolgens een eigen oordeel geeft over de uitkomst en die vrij is om een oordeel van het algoritme naast zich neer te leggen?

Controle over data en algoritme

Kom meer te weten over ons onderzoek naar Verantwoord Inzetten van Data en Algoritmes

De inrichting van toezicht op overheidsalgoritmen

Als er dan een belang is voor toezicht op overheidsalgoritmen en er is een wettelijke grondslag. Hoe staat het dan op dit moment met het toezicht op overheidsalgoritmen? Niet goed, volgens Hooghiemstra & Partners. Hier weiden zij dan ook de rest van het rapport aan. Er zijn veel uitdagingen waar men tegenaan loopt bij het opzetten en inrichten van goed toezicht en er moeten nog veel stappen gezet worden.

 

Het gebrek aan toezicht heeft volgens hen twee oorzaken: De inzet van algoritmen bij overheden is vaak rudimentair en de kennis over algoritmen bij toezichthouders is onvoldoende (p.16). In het rapport worden juridische en praktische mogelijkheden voorgelegd om dit toezicht vorm te geven. Er wordt geadviseerd een afzonderlijke toezichthouder aan te wijzen. Daarnaast dient er beleid ontwikkeld te worden over de verantwoordelijkheden van een overheid. Hierbij wordt geadviseerd verantwoordelijkheid per overheidsorganisatie onder hun zorgplicht vast te leggen. Ze dienen zorg te dragen voor het feit “dat de inzet van algoritmes doelmatig, rechtmatig, eerlijk, accuraat en uitlegbaar is.” (p.20).

Voorts wordt in overweging gegeven om te werken aan een handleiding voor overheidsorganisaties die ondersteuning kan bieden bij het inrichten van een controlesysteem (p.20).

Ook wordt geadviseerd om als overheid al een deel eigen verantwoordelijkheid te nemen op basis van handvatten die al beschikbaar zijn. Hierbij kan gedacht worden aan een Algoritme Impact assessment (deze van ECP bijvoorbeeld), een DPIA en een grondige toetsing aan de AVG-wetgeving.

Eigen verantwoordelijkheid

Bij veel organisaties lukt het, mijns inziens, prima om die eigen verantwoordelijkheid te nemen. Hierbij zijn goede handvatten wel van belang en die missen vaak nog. De Europese commissie biedt bijvoorbeeld een richtsnoer. De praktische invulling hiervan is voor veel organisaties nog een uitdaging. In het open innovatieprogramma Digital We hebben we een praktische vertaling gemaakt naar handvatten voor organisaties.

In samenwerking met onder andere RVO, Kadaster en DUO hebben we onderzocht hoe een beleid voor Verantwoorde Inzet van Data en Algoritmes ontwikkeld kan worden, gebaseerd op de richtsnoeren van de EU.

Aan de hand van verschillende casussen gaan multidisciplinaire groepen in discussie over vragen als: is het wel of niet wenselijk dat dit algoritme gebruik maakt van geautomatiseerde besluitvorming? Vinden jullie het wel of niet wenselijk dat een gebruiker kan afwijken van de adviezen van het algoritme? En, hoe uitvoerig dient het algoritme getest te worden?

Door de discussie te voeren met mensen uit de gehele organisatie ontstaat een breed perspectief dat als basis kan dienen voor de ontwikkeling van een gedragen beleid rond het verantwoord inzetten van data en algoritmes.

algoritme-de-baas-innovalor-advies.jpg

Wil je meer weten over ons onderzoek naar Verantwoord Inzetten van Data en Algoritmes of we voor jouw organisatie kunnen betekenen? Neem dan contact op met mij. 

liesbeth.hijink@innovalor.nl