Ethiek op je dashboard

In het algemeen helpt een dashboard om beter inzicht te krijgen in de prestaties van een algoritme of model. Aan de hand van verschillende metrieken, zoals accuraatheid en gevoeligheid, wordt de performance van een model meetbaar gemaakt. Sinds een aantal jaar zijn er ook ontwikkelingen met betrekking tot het integreren van metrieken voor een ethisch gebruik van datagedreven modellen. Dit resulteert in het ontstaan van een dashboard voor Responsible AI.  

Responsible AI dashboards maken gebruik van fairness assessments en interpreteerbaarheid analyses, om inzicht te geven in de aanwezigheid van mogelijke bias en de begrijpelijkheid van een model te verhogen. Data scientists worden op deze manier gestimuleerd om een model niet alleen te beoordelen op basis van performance, maar ook op bijvoorbeeld non-discriminatie en transparantie. Wanneer blijkt dat een model bias bevat of beslissingen neemt op basis van ongebalanceerde data, kunnen er vervolgens mitigerende maatregelen genomen worden om het model rechtvaardiger te maken.  

Naast waarden als non-discriminatie en transparantie, bieden dashboards ook de mogelijkheid om bijvoorbeeld duurzaamheid weer te geven, door zichtbaar te maken hoeveel CO2 uitstoot een model genereert. Vanuit een bedrijfs-ethisch perspectief kan er dan beter en meer geïnformeerd gestuurd worden op het borgen van publieke waarden. 

Verantwoord automatiseren heeft een grens

Responsible AI dashboards helpen om een stap verder te zetten in het operationaliseren van ethische principes. Ethiek wordt dan immers een integraal onderdeel van model engineering en monitoring. Dit vraagt echter wel om een zorgvuldige aanpak. In hoeverre een AI model daadwerkelijk eerlijke resultaten geeft wanneer het dashboard de resultaten heeft geclassificeerd als ‘eerlijk’, is afhankelijk van de zuiverheid en passendheid van de gebruikte metrieken. Wat mogelijk een discriminatoire beslissing is binnen een dienstverleningsproces met directe betrokkenheid van burgers, kan in de context van een andere dienstverlener volledig rechtvaardig zijn. Bovendien kan de inzet van een AI model leiden tot inbreuk op ethische waarden die niet ondervangen zijn in de weergave op een dashboard. Het uiteindelijke gebruik van de uitkomsten van een AI model binnen een specifieke use case, heeft dan nog steeds menselijk evaluatie nodig. Het gebruik van een Responsible AI dashboard resulteert dus niet automatisch in ethisch verantwoord handelen.

5 handvatten voor het gebruik van dashboards binnen jouw organisatie

Hoe benut je de kansrijkheid van Responsible AI dashboards, zonder ethiek op een ongezonde manier te automatiseren?  

1. Gebruik het dashboard als adviserend, voor waarschuwingen op ethische risico’s en niet als definiërend. Het kan waardevol zijn om met ‘red flags’ te werken wanneer er een risico is op bias, zodat risico’s sneller geïdentificeerd kunnen worden. 

2. Kijk ‘achter’ de metrieken. Bepaal zorgvuldig welke metrieken je gebruikt, maak begrijpelijk wat je precies meet en waarom gekozen is voor een specifieke drempelwaarde. 

3. Voorkom ethische tunnelvisie. Het is belangrijk om regelmatig breder door de ethische bril te kijken dan alleen op basis van de input vanuit een dashboard. 

4. Integreer het dashboard in een ethisch proces. Het implementeren van een dashboard is geen eindstation. Formuleer handelingsperspectieven voor medewerkers wanneer er een ‘red flag’ oppopt.  

5. Definieer duidelijke rollen en verantwoordelijkheden en betrek meerdere disciplines voor de inrichting en het gebruik van een Responsible AI dashboard. Zie ook mijn vorige blog: "Ethische AI: een teaminspanning".

Fotocredit: freepik.com