Discriminerende algoritmes of ongemakkelijke waarheden?
Door Gertjan van Heijst
Er is de laatste tijd nogal wat consternatie geweest over de inzet van bepaalde ‘discriminerende’ AI-technieken (vaak ‘algoritmen’ genoemd) bij de besluitvorming binnen overheidsprocessen. Het toeslagenschandaal wordt hierbij dan als archetypisch voorbeeld gebruikt. Helaas heeft deze consternatie vaak een verkeerde focus, met name omdat de communicatie over wat hier nu werkelijk aan de hand is wordt vertroebeld door ondeskundige en vaak ook onzinnige meningsuitingen in de media door journalisten, politici en andere zelfverklaarde thought leaders. Wat is er werkelijk aan de hand?
Om te beginnen wat terminologie. Een algoritme is een procedure, een set instructies om een doel te bereiken. Niets meer en niets minder. Er zijn miljoenen algoritmes en elk softwarepakket kan worden beschouwd als een collectie algoritmes die samen taken uitvoeren. De voornoemde consternatie heeft echter betrekking op een heel specifieke familie van algoritmes die worden toegepast in de artificiële intelligentie: algoritmes die een bepaalde casus een classificatie toekennen door deze te vergelijken met eerder geclassificeerde cases. De door de algoritmes toegekende classificatie is niet gegarandeerd correct, maar heeft wel een zekere waarschijnlijkheid.
Ik beschrijf deze algoritmes hier expres op een abstracte wijze. Het abstracte karakter van de algoritmes maakt ze geschikt voor een breed spectrum aan toepassingen. Je kunt ze gebruiken voor selectie van tomaten, voor gezichtsherkenning op basis van eerdere afbeeldingen, voor muziekherkenning, voor het identificeren van kansrijke opties op effectenbeurzen etc. Zolang je een probleem kunt herformuleren als een classificatieprobleem en je ook beschikt over een (groot) aantal voorbeeldclassificaties kun je er een dergelijk algoritme op loslaten en er komt wat uit.
De kwaliteit van wat eruit komt, de classificatie, varieert. In sommige gevallen zijn de algoritmes in staat om vrij goede resultaten te geven (tot ongeveer 90% correcte antwoorden), in andere gevallen had je met een dobbelsteen vergelijkbare resultaten kunnen bereiken. De deskundigen – de AI-specialisten die deze algoritmes toepassen – weten zelf ook nauwelijks wanneer welke algoritmes effectief zijn en het ontwikkelen van zo’n toepassing komt in de praktijk neer op trial-and-error, een beetje aanrommelen dus totdat er iets bruikbaars ontstaat.
Ondanks deze beperkingen zijn deze algoritmes zeer nuttig toe te passen in tal van situaties. Als je een speld in een hooiberg moet zoeken, is het bijzonder handig om te weten in welk deel van de hooiberg deze zich waarschijnlijk bevindt. Er zijn, ook in de publieke sector, tal van situaties te bedenken waar dit kan leiden tot een veel efficiëntere en meer effectieve inzet van middelen. Om wat voorbeelden te noemen: als je weet waar de waarschijnlijkheid het grootst is dat er gedoe ontstaat bij een evenement, demonstratie of festiviteit, helpt dit om effectief politie en hulpdiensten in te zetten. Als je weet welke bevolkingsgroep het meest kwetsbaar is voor een bepaalde ziekte, helpt dit om de preventieve en curatieve zorg goed te organiseren. En ja, als je weet waar de kans op frauduleus gebruik van regelingen het grootst is, helpt dit om effectief fraude te bestrijden. Bijvoorbeeld toeslagenfraude …
Zijn deze algoritmen nu discriminerend? Nee. De algoritmen zelf zijn waardenneutraal: ze berekenen op basis van cases in een database een inschatting met betrekking tot een nieuwe te classificeren casus, that’s all. Als deze classificaties als discriminerend worden ervaren, is dit slechts een reflectie van de statistieken van de datacollectie waarmee het algoritme is getraind. Anders gezegd: als mensen van niet-westerse afkomst vaker worden geclassificeerd als potentiële fraudeur is dat omdat in de datacollectie fraudeurs relatief vaker van niet-westerse afkomst zijn. Ervan uitgaande dat de datacollectie representatief is samengesteld, is dit eerder een (in bepaalde politieke kringen) ongemakkelijke waarheid dan discriminatie.
Dat gezegd hebbende is het natuurlijk ongewenst dat sommige burgers – alleen maar vanwege het feit dat ze aan een bepaald profiel voldoen – vaker worden lastiggevallen met controles dan andere. En het is nog meer ongewenst dat burgerrechten om deze reden worden geschonden. Er rust dus wel degelijk een verantwoordelijkheid op diegenen die de algoritmen inzetten om te zorgen dat er voldoende waarborgen zijn om ongewenste bijeffecten te voorkomen, en daarmee ook de consternatie hierover.
Laten we zorgen dat het kind hier niet wordt weggegooid met het badwater. De hier genoemde AI-technieken kunnen, ondanks alle beperkingen, helpen om tot een veel effectievere inzet van middelen te komen. Maar laten we tegelijkertijd zorgen dat dit niet tot maatschappelijke schade leidt. De technieken maken fouten en zullen dat ook blijven doen. De inzet ervan zou daarom ingebed moet worden in processen die het mogelijk maken deze fouten in een vroeg stadium op te sporen zonder dat de burger daar – direct of indirect – schade van ondervindt, en wanneer dit niet lukt om deze schade ruimhartig te compenseren.
Dit artikel is op 17 januari 2023 als blog verschenen op Vind Informatiemanagement.