Slimmer met Regelgeving

Slimme algoritmen discrimineren niet

Artikel 1 van de Grondwet omvat het discriminatieverbod: Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan. Het is dan ook logisch dat ook algoritmen die overheden, bedrijven of burgers gebruiken niet mogen discrimineren. Maar hoe weet je nu wanneer een algoritme discrimineert? Bijvoorbeeld als een algoritme wordt gebruikt om fraudeurs op te sporen; wanneer maakt het algoritme dan correct onderscheid tussen fraudeurs en niet-fraudeurs, en wanneer gebeurt dit in strijd met artikel 1 van de Grondwet?

Onze stelling is: slimme algoritmen discrimineren niet. Daarvoor zullen we dan wel moeten uitleggen wat wij onder een “slim” algoritme verstaan, zoals wij in een eerder artikel ook beschreven wat we onder “slimme” regelgeving verstaan.

Aanleiding

In de nacht van donderdag 29 april 2021 heeft de Tweede Kamer een motie aangenomen om zo snel mogelijk te stoppen met discriminerende algoritmen. Deze motie uit het laatste debat in de lange reeks van debatten over de Toeslagenaffaire kreeg dan ook veel aandacht in de ICT media, zoals in de Computable. Opvallend is dat de motie niet aangeeft wat zij onder een “discriminerend” algoritme verstaat. Eigenlijk zou je ook kunnen stellen dat de motie overbodig is omdat eerder, op 19 januari 2021, de Tweede Kamer al een motie heeft aangenomen om te stoppen met discriminerende algoritmen (en ook een algoritmeregister op te zetten). In deze eerdere motie werd wél enige indicatie gegeven wat een discriminerend algoritme is. De Tweede Kamer: … “verzoekt de regering, het gebruik van nationaliteit, etniciteit en geboorte- plaats als datavariabele in alle risicomodellen, -profielen, -systemen, -selectie en zwarte lijsten die binnen het overheidswezen gebruikt worden volledig uit te sluiten”.

Wat is een discriminerend algoritme?

“Discrimineren” is letterlijk “onderscheid maken”. Deze letterlijke betekenis van discrimineren wordt echter niet bedoeld in de Grondwet. Op de www.rijksoverheid.nl zegt men het zo: “Discriminatie betekent dat er onterecht verschil wordt gemaakt in de behandeling van mensen.” Het kenmerk waarop iemand onterecht anders behandeld wordt, noemen we een discriminatiegrond. De wet noemt een aantal kenmerken expliciet, maar stelt ook: “op welke grond dan ook”. Het komt er eigenlijk op neer dat je moet weten welke kenmerken er toe doen om onderscheid te maken, en welke kenmerken er helemaal niet toe doen. Met andere woorden: je moet slim zijn, weten welke beslissing je moet nemen, en welke kenmerken je wel, en welke kenmerken je juist niet mag meewegen in je beslissing.

Voor mensen is dat al best lastig, maar voor machines die algoritmen uitvoeren onmogelijk, tenzij we ze “slim” maken door ze een beetje helpen. Voor een algoritme zijn alle kenmerken op voorhand namelijk gelijk. Voor een algoritme is een inkomen op zichzelf hetzelfde als de lichaamstemperatuur van een koe of de leeftijd van een konijn: allemaal getallen. Ook weet een algoritme niet wat zijn uitspraak voor consequenties heeft: een beslissing om een stoplicht op rood te zetten is voor een algoritme hetzelfde als een beslissing om iemand aan te wijzen als fraudeur. Het algoritme voelt niet dat dit verschillende situaties zijn.

Het is dan ook een beetje vreemd om te stellen dat een algoritme discrimineert. Het is niet het algoritme dat discrimineert, maar degene die het algoritme gebruikt. Toch kunnen we wel algoritmen aanwijzen die bij gebruik leiden tot discriminatie! En een “slim” algoritme laat zich daarvoor niet gebruiken. Het is alsof er een grote sticker op het algoritme komt met de tekst: “pas op, gebruik van mij kan leiden tot discriminatie”.

Hoe komen we tot slimme algoritmen die niet discrimineren?

We hebben al geconstateerd dat algoritmen die gebruik maken van discriminerende gronden op zijn zachtst gezegd verdacht zijn. Dus laten we beginnen met het oormerken van discriminerende gronden. Daarvoor is het nodig dat we de betekenis – de semantiek – van een kenmerk vastleggen in een speciaal soort woordenboek. In de ICT wordt voor zo’n woordenboek vaak een datacatalogus, datamodel of nog beter: een semantisch model gebruikt. Dit vastleggen van de betekenis in een catalogus zou eenvoudig kunnen: de Grondwet stelt al dat kenmerken als godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht discriminerende gronden zijn. Die mogen een algoritme dus niet meer in.

Maar hoe zit het met andere gronden? Afhankelijk van het doel van het algoritme kunnen deze wel of niet discriminerend zijn. Van belang is dus ook dat we het doel van een algoritme vaststellen en dit doel verbinden met de kenmerken die het algoritme gebruikt. Met dergelijke verbindingen ontstaat een model, een semantisch model. We kunnen de criteria benoemen waarop het algoritme moet toetsen (bijvoorbeeld of er mogelijk sprake is van fraude) en we kunnen vervolgens beoordelen welke kenmerken hiervoor noodzakelijk zijn en welke niet.

Van elk algoritme kunnen we zo omschrijven wat het doel is van het algoritme, en welke kenmerken het algoritme mag gebruiken. Dit lijkt sterk op de tekst uit de motie van 19 januari 2021: een algoritmeregister op te zetten waarin beschreven wordt welke algoritmen de overheid gebruikt, voor welk doel en op basis van welke datasets opdat iedereen toezicht kan houden op al dan niet discriminerende algoritmen.

Maar alleen een algoritmeregister met een opsomming van het doel en de gebruikte datasets is onvoldoende. We hebben inzicht nodig in de betekenis van de gebruikte kenmerken. Om een voorbeeld te geven: veel algoritmen die te maken hebben met fraude van ondernemingen, zullen gebruik maken van de dataset “Basisregistratie Handelsregister”. Sterker nog: overheidsorganisaties zijn verplicht om de authentieke gegevens uit deze basisregistratie te gebruiken. Niets aan de hand, denkt u wellicht. Maar als u ook weet dat in deze basisregistratie de nationaliteit van personen wordt bijgehouden (een verplichting die volgt uit dezelfde wet), dan wordt het wellicht een ander verhaal. Je zult dus moeten weten of dit kenmerk wordt gebruikt door een algoritme, en zo ja: of het doel van het algoritme past bij de reden om het kenmerk “nationaliteit” daarbij te gebruiken.

“Slim” is dus om niet alleen de dataset te beschrijven maar ook de betekenis van de kenmerken in de dataset, het doel van het algoritme en de criteria waarop het algoritme moet toetsen. Zo ontstaan slimme algoritmen, waarbij bekend is op grond van welke kenmerken het algoritme onderscheid maakt. En of dit past voor het doel waarvoor het algoritme wordt ingezet. De basis voor dit model is al beschikbaar, hierover hebben we in eerdere artikelen geschreven, in het bijzonder ons DNA artikel, Wendbaar Wetgeven en onze suggesties met betrekking tot het versterken van de Aanwijzingen.

Marco Brattinga

Voeg opmerking toe