Het kon je zo maar gebeuren in Engeland dit jaar, hoe onvoorstelbaar het ook klinkt. De Engelse overheid had besloten om de cijfers, die dit jaar primair gegeven werden door de docenten, te “standaardiseren”. Die standaardisatie hield rekening met de historische resultaten van de populatie. Goede school en jij een minder resultaat? Puntje erbij! School met magere resultaten en jij de uitzondering? Puntje eraf, of misschien wel drie.

In Schotland was het falen al aangetoond: kinderen in armere gebieden en op zwakkere scholen kregen gemiddeld een correctie van ruim -15%, terwijl dat bij scholieren uit welgestelde gebieden nog geen -7% was. Toch hielden zowel de minister Gavin Williamson als de directeur van de overheidsorganisatie Ofqual, die hiervoor verantwoordelijk waren, vast aan het algoritme. Pas na grote publieke druk werd het algoritme alsnog ingetrokken. Alleen wanneer het een puntje extra had opgeleverd mocht je het houden, als troost. Zoals Roger Taylor, de baas van Ofqual het formuleerde op 17 augustus: “We want to now take steps to remove as much stress and uncertainty for young people as possible.”

Ook in Nederland is er steeds meer aandacht voor de rol van algoritmen in besluitvorming en advies, zowel in positieve als in negatieve zin. Denk aan voorspellingen rond Corona, of het verbieden van de software van SyRI voor het opsporen van bijstandsfraude. “Algoritme-bashing” is bon ton geworden, iets wat mij, als informaticus, aan het hart gaat. De wereld draait al tientallen jaren op regels en algoritmen. Soms wat eenvoudig, met business rules, soms ondoorgrondelijk met geavanceerde vormen van machine learning.

Algoritmen op zich zijn niet goed of fout. Het algoritme kan een correcte vertaling zijn van de wet. Het laat de implicaties van die wet zien. Een zelflerend algoritme kan fout worden getraind, net zoals een hond vals opgevoed kan worden door zijn baasje. Denk aan de racistische trekjes die de chatbot Tay van Microsoft binnen een dag kreeg.

robot
Transparantie biedt inzicht nog garanties. Voorbeeld uit algoritme Ofqual, p. 39.

Vaak wordt transparantie gezien als een oplossing. Als we maar weten hoe het algoritme werkt kunnen we beargumenteren dat het goed is. Transparantie lost een aantal zaken op, maar transparantie en begrijpelijkheid zijn verschillende zaken. Ook het Engelse algoritme was volkomen transparant en gedocumenteerd in een document van 79 pagina’s. Als je het leest heb je de indruk terecht te zijn gekomen in een combinatie van een boek van Kafka en een wiskundeboek Algebra III op de universiteit. Aburdisme ten top.

Met algoritmen en data kun je ook vooroordelen bestrijden. In een onderzoek dat we uitvoerden voor Kennisnet in 2018 sprak ik met mensen van ROCs die juist aan de hand van data docenten hielpen over hun vooroordelen heen te stappen. “Slechte” wijken bleken niet te leiden tot slechte prestaties, net zoals “gegoede” wijken niet tot hogere cijfers bleken te leiden. Dat soort analyses zijn echt spannend, gevoelig en risicovol. Vertrouw je de data meer dan een docent? Is data niet gebruiken wellicht minder ethisch dan wel gebruiken? Ze kunnen in elk geval een waardevolle aanvulling zijn op de menselijke inzichten en helpen te objectiveren. Er is hier echter niet een goede en een foute oplossing. De keuze moet passen bij je visie, bij wetgeving en bij de normen uit het onderwijs. 

De menselijke maat blijft echter belangrijk. Gezond verstand moet vaak kunstmatig verstand (AI) aanvullen. Blind geloof in technologie of algoritmen is net zo onverstandig als puur vertrouwen op het oordeel van elke deskundige. Die balans onderzoeken we op dit moment in Digital We. Ook op zoek naar gezond verstand? Neem dan contact met ons op.