Algoritmen zijn massavernietigingswapens, stelt Cathy O’Neil in dit boek boek uit 2016 met de leuke woordspeling in de titel: Weapons of Math Destruction. Waarom? Omdat ze onrechtvaardig zijn, niet transparant, en je je er niet tegen kunt verdedigen. En vaak hebben de makers van de algoritmen dat niet eens expres gedaan …
Kunnen we er iets tegen doen? Jazeker: audit en regelgeving. We zijn inmiddels een paar jaar verder, en de situatie is nog niet veel veranderd. Misschien zelfs wel verslechterd, omdat het gebruik van algoritmen eerder regel dan uitzondering wordt. Over regelgeving wordt veel gesproken, tot in de Veiligheidsraad van de VN aan toe. Ook over het auditen van algoritmen is veel te doen, en wordt weinig echt gedaan. Voorlopig zitten we dus nog opgescheept met oneerlijke algoritmen, en de levensbedreigende effecten ervan.
Het managementboek Weapons of Math Destruction …
… gaat niet (of nauwelijks) over desinformatie of social media. Het gaat over het gebruik van algoritmen in branches waar je mee te maken hebt of je wilt of niet. Over het aanmelden bij universiteiten, over sollicitaties, over krediet- en hypotheekaanvragen, verzekeringen afsluiten. Maar ook over ‘predictive policing’, politiek, gevangenis, flexwerk en advertenties. En keer op keer is het resultaat, al dan niet bedoeld, hetzelfde: de minst weerbaren in de maatschappij zijn de klos.
Een mooi voorbeeld hiervan is het gebruik van ‘credit scores’, kredietwaardigheidsdata. Omdat die data makkelijk te verkrijgen is (in de VS) wordt het te pas en te onpas gebruikt. Hoe slechter je score, hoe hoger je verzekeringspremie (want hoger risico op niet-betalen), en dat geldt voor alles. Dus hoe armer je bent, hoe meer je betaalt, hoe armer je wordt, etc. Dit lijkt nog sneu, maar logisch.
Onrechtvaardig
Echter, het gebeurt bewust, en de premies zijn veel hoger dan redelijk. Want die armen zijn vaak laagopgeleid, immigrant, wonen in buurten met weinig verzekeringskantoortjes, vaak zijn ze niet erg assertief en hebben geen idee dat ze worden opgelicht. En ze zijn dolblij dat ze een baantje hebben, ook al betekent dat dat ze afhankelijk zijn van een auto. En van een auto-verzekering. Een makkelijke prooi dus. Bij de verzekeraar AllStar leverde dat verschillen op van 80 x, puur gebaseerd op de buurt waarin je woont. Rijke buurt: $100, arme buurt $8000.
Sterker nog, een lage credit score levert een hogere premie op dan een veroordeling voor dronken achter het stuur zitten. Onderzoek in Florida wees uit dat volwassenen met slechte credit scores en geen veroordeling gemiddeld $1500 méér betaalden dan volwassenen met goede creditscores en wél een veroordeling. Dit is vast niet per ongeluk gebeurd.
Niet transparant
O’Neil besteedt ook veel aandacht aan het ‘black box’ gegeven: je kunt nauwelijks bezwaar aantekenen tegen beslissingen op basis van algoritmen omdat je niet weet waaróm je afgewezen bent, méér betaalt, etc. Het is zelfs mogelijk dat er met foutieve data wordt gerekend (leningen die allang zijn afgelost, veroordelingen van iemand met dezelfde naam).
Niet dynamisch
De algoritmen krijgen ook geen feedback, als bij sollicitaties mensen worden afgewezen is er niets en niemand die een paar jaar later naar de carrière van die ‘losers’ kijkt. Misschien zijn ze in dezelfde soort baan wel heel succesvol geworden! Dan zijn ze ten onrechte afgewezen. Maar zonder feedback geen aanpassing, en zonder aanpassing blijf je goede kandidaten afwijzen.
Massaal
Met heel veel voorbeelden en onderzoeken toont O’Neil aan dat het niet om incidenten gaat, maar dat hele bevolkingsroepen worden getroffen. Vaak de armen, laagopgeleiden, immigranten, bepaalde buurten/postcodes, rassen. In die zin gaat het massaal mis met algoritmen. Ik vind haar uitspraak ‘priviliged people are processed by people, masses by machines’ in dit kader heel sterk en heel zorgwekkend. En je hoeft alleen maar aan het Toeslagenschandaal te denken om te weten dat dit niet alleen in de VS gebeurt. (Het Toeslagenschandaal heeft zelfs de internationale Wikipediapagina van regulating of algorithms gehaald, zo’n ‘mooi’ voorbeeld is het.)
Origineel
Wat dit boek bepaald origineel maakt, is dat O’Neil aantoont dat ook algoritmen die met de beste intenties zijn gemaakt, onbedoelde negatieve effecten kunnen hebben. Daar staan we te weinig bij stil, en doen we ook niet pro-actief onderzoek naar. Wat we allang weten is dat algoritmen die goed zijn voor bedrijven, slecht kunnen zijn voor de samenleving, alleen onderschatten we hoeveel bedrijven daarvan gebruikmaken. Confronterend is dat we ook nog geen middelen hebben om dit aan te pakken. Alleen als het financieel voordeel geeft, zal een bedrijf haar algoritmen aanpassen. Regelgeving én audit zijn dus zéér nodig!
Prettig leesbaar en passievol
Het is een prettig leesbaar boek, dat gebruik maakt van heel veel onderzoeken en aansprekende anekdotes om het punt te maken. Het is goed te merken dat O’Neil expert is op dit gebied.
Door het hele boek klinkt de nauwelijks verhulde boosheid van O’Neil, die bepaald aanstekelijk is. Dat kán toch niet, dacht ik regelmatig. Ook is ze lekker cynisch, daar houd ik wel van. Het is haar ook zelf opgevallen, dat cynisme. Maar ze vindt het terecht, er zijn veel bedrijven die algoritmen bewust gebruiken voor oneerlijkheid. Waarom ze zo boos en cynisch is, wordt ook duidelijk: ze werkte in 2008, toen de financiële crisis begon, bij DE Shaw, een hedgefonds. De ellende die door bedrijven als het hare is veroorzaakt trekt ze zich persoonlijk aan. Dit maakt het boek enorm krachtig en overtuigend.
Leuk gevonden zijn de titels van de hoofdstukken: allemaal in ‘wapen-stijl’ en goed passend bij de inhoud: Bomb parts (wat is een algoritme eigenlijk), Shell shocked (haar eigen ontdekkingsreis naar de ellende die het teweeg brengt), Civilian casualties (over de onrechtvaardigheid), Collateral damage (over hypotheekverstrekking). Kun je toch nog een beetje glimlachen over dit boek!
Ik gaf het boek 4 ½ *
Ken je dit boek? Wat vond je ervan?
Koop dit boek
o.a. bij
of
of
- Libris.nl, steun je lokale boekhandel
of
- Boekwinkeltjes, lekker duurzame exemplaren-met-ervaring
Keus genoeg!
Elly Stroo Cloeck is project- en interim-manager op het gebied van Finance, Internal Audit en Risk Management. Daarnaast schrijft ze recensies en samenvattingen van managementboeken. Abonneer je hier op de kwartalige nieuwsbrief.
Of abonneer je op de blog-updates!