Brenno de Winter over AI: "Als we stoppen met valideren, komen we geheid in een crisis.”

Een persoonlijke introductie van Brenno kan ik op mijn buik schrijven. Het was enkele dagen na het befaamde CrowdStrike-incident. Met een bevlogen expert als Brenno, kom je er dan gewoon niet aan toe. Je gaat meteen de inhoud in.

“We zagen vorige week hoe je niet moet communiceren. De CEO heeft het laten afweten.”

Brenno begint over procescommunicatie en integriteit als zijn kat Otis op tafel springt. Zodra Brenno hem aait, schiet de staart van Otis pontificaal omhoog. Brenno switcht meteen van gespreksonderwerp en vertelt met een sprankeling in de ogen:

“Dit is hem. Het is een kruising tussen een Abessijn en een Siamees. Voor zijn soort is hij aan de grote kant, bijna uitgegroeid. Hij is m’n absolute held. Boven liggen Keiko en Branie, die komen zo misschien ook nog wel.”

Het is duidelijk dat Otis wél een uitvoerige introductie krijgt. Triomfantelijk doet Brenno een boekje open met indrukwekkende anekdotes die je meteen doen spinnen. Op Keiko en Branie komen we later in het verhaal terug.

“CrowdStrike was een slecht-nieuws-boodschap”, zo stelt Brenno als Otis weer op de grond springt. “Als de CEO de sprong naar voren had gemaakt en het proces had uitgelegd, dan voorkomt hij wilde speculaties. Nu straal je uit dat je niet vertelt wat er aan de hand is. Dat triggert. Ik vind dit een klassieke uitglijder.”

Denk je dat mensen in de top de gevolgen hiervan niet overzien?

“Absoluut. In de boardroom is er een kennisgebrek. Crisisteams zitten op het proces, en maar weinig op inhoud. Maar de Europese wetgeving is helder: bij de strategische keuze om iets uit te besteden, bijvoorbeeld aan CrowdStrike, is de bestuurder verantwoordelijk.

“Uiteindelijk was dit een redelijk eenvoudig incident. Een kwestie van opnieuw opstarten en een programma verwijderen. En je moet je bitlocker-code hebben. Het zou niet het eerste incident zijn waar het misgaat omdat de administratie niet op orde is. Denk aan een ransomeware-aanval, terwijl het crisisplan alleen op de server staat. Dan heb je dus geen crisisplan.”

Hoe komt het dat die kennis in de boardroom ontbreekt?

“Bestuurders zitten aan een stuur. Maar als het om IT gaat, dan weten ze niet hoe het onder de motorkap werkt. Door de focus op kosten en baten is expertise de tent uit gezet. Bedrijven kijken wel naar wat IT-security kost, maar niet naar wat het oplevert.”

“Bovendien horen managers het liever niet wanneer iets niet functioneert. Het wordt gezien als moetje, iets dat in de weg staat. Terwijl het alles zegt over hoe je kwaliteit geborgd is. Bij veel organisaties moet ik aan Gordon Ramsay denken.”

Gordon Ramsay?

“In het programma ‘oorlog in de keuken’, zie je altijd een restaurant dat denkt dat het prima gaat. Maar in de keuken is het smerig, de klanten klagen en de producten zijn slecht. Iemand als Gordon Ramsay staat dan op om de spiegel voor te houden. Maar vaak gaat zo'n restaurant failliet als Ramsay weer weg is. Het was al te laat. Het zit te diepgeworteld in de organisatie.”

“In organisaties zie je ook een dempende werking van problemen. Mechanismes zijn zo gegroeid dat het bestuur geen ernstige signalen krijgt. Als er een schokkend issue is, dan komt slechts een samenvatting op het bureau van de bestuurder. Die valideert niet wat er in de kern gebeurt. Daar gaat m’n volgende boek over: de validatiecrisis.”

De validatiecrisis. Kun je een voorbeeld geven?

“Op televisie kreeg een man 9 maanden cel voor het stalken van zijn ex. Hij ontkent, maar had een verleden als psychiatrisch patiënt. Als hij verhoort wordt, zou een telefoontje naar de provider genoeg moeten zijn om te valideren of hij liegt. Niemand deed dit. Het openbaar ministerie niet, de rechter niet, niet eens de advocaat. Wat blijkt: hij stalkte zijn ex niet en gaat ten onrechte de cel in.”

“Dan zit je dus in een validatiecrisis. Dat mensen bij belangrijke besluiten niet meer valideren of iets klopt. Ik vind AI dan ook een spannende technologie. Als wij stoppen met valideren, dan gaat het mis. Daar zit een heel groot spanningsveld.”

Want je houdt de ontwikkeling van AI niet tegen.

“De angel van de kritiek zit hem niet in de technologie, maar in ‘computer says yes, computer says no’. AI maakt fouten, dat kan niet anders. De crux zit hem in validatie. Iemand vroeg ChatGPT met welke stoffen je een schoonmaakmiddel kan maken. ChatGPT kwam met stoffen die een dodelijk gas genereren als je ze mixt. Je moet er niet aan denken wat er gebeurt als je dat niet valideert.”

“Dus als AI iets maakt, ga er dan niet direct mee aan de haal. Als je niet meer kunt volgen wat de computer besluit, dan staat dat vroeg of laat garant voor ongelukken. Daar hoef je geen wetenschapper voor te zijn.”

Waarom valideren we niet (meer)?

“Als je de juiste kennis niet hebt, bouw je geen instinct op. Er is een managementstroom die zegt dat ze vooral over het proces gaan, en daarom de inhoud niet hoeven te kennen. Maar je hebt kennis en expertise nodig om te weten hoe je moet handelen. Kijk naar de EHBO. Daar weten mensen ook pas adequaat op te treden nadat ze hun skillset hebben opgebouwd.”

“Er zit ook een cultureel aspect aan. Als jij als medewerker een aantal keer bent afgepoeierd, dan krijg je het gevoel dat er toch niet naar je geluisterd wordt. Dat werkt struisvogelgedrag in de hand.”

Of mensen die de kat uit de boom kijken.

“In Nederland vinden we het bovendien ook normaal om op elkaars stoel te zitten. Als een security-expert zegt dat je iets moet doen, dan is er geheid iemand die ‘er anders tegenaan kijkt’. Dit is echt raar gedrag.”  

“Je kunt het niet maken om de professionele mening van een expert zo van tafel te schuiven. Dit is overigens ook een reden dat IT’ers vaak overspannen zijn. Ze moeten continu hun expertise verdedigen.”

Waar komt je enorme drive voor databeveiliging vandaan en hoe bouw je autoriteit op?

“Ik kom uit een Joodse familie. Veel van mijn familieleden zijn vermoord in de oorlog. Daar zit dus al iets in dat je misbruik van gegevens nooit meer wilt zien. Je weet dat daar een hele hoge kostprijs aan zit. Dat kreeg ik van jongs af aan mee. Daarnaast wil ik dat technologie tof functioneert. En dat kan alleen met IT- en privacybeveiliging.”

“Waar ik vroeger meer vanuit irritatie of woede zou opereren, ben ik in mijn aanpak iets milder en strategischer geworden. Daarnaast blijf ik altijd praktisch. Ik hou van aanpakken. Je moet het doen, je moet het ervaren, en het moet jouw verhaal zijn.”

Ben je daarom de journalistiek in gegaan?

“Niet per se. Voor mij is het voeden van het debat belangrijker dan journalist zijn. Na 11 september voelde ik dat de reactie in het digitale domein een hele grote zou zijn. Ik wist toen nog niet wat de impact was.”

“Dat was eigenlijk het beginpunt van mijn journalistieke carrière. Het eindpunt was ook duidelijk. Toen Snowden in 2013 blootlegde hoe de situatie is, wist ik dat ik daar weinig meer tegenover kon zetten.”

Je raakte op jouw manier in de clinch met de overheid.

“Als journalist heb ik het een en ander blootgelegd, zoals de kwetsbaarheden van de OV-chipkaart. Er kwam even een spanning tussen mij, het openbaar ministerie en de politie. Maar slechts een paar jaar later werd ik lid van de bezwaarcommissie WOB (nu Wet Open Overheid, red.) en heb ik een benoeming in de ethische commissie.”

“Dat is het mooie aan Nederland. We gingen juist samenwerken om de dossiers beter te maken. Zo kwamen we weer een paar jaar later tijdens een crisissituatie (het coronavirus, red.) op een sleutelpositie terecht.”

Begin bij het begin, zou ik zeggen.

Het was 15 december 2020. We lunchten bij het ministerie van Volksgezondheid. In Nederland zou het vaccinatieprogramma tegen het coronavirus in januari beginnen. De CoronaMelder was al gebouwd. De volgende taak was duidelijk: hoe registeren we de vaccinaties.”  

“Je moet je voorstellen: de containers met vaccins stonden op de grens van België, Frankrijk en Duitsland. Het was vrij duidelijk dat het voortbestaan van een vrij Europa ter discussie stond. Alleen als je kunt bewijzen dat je geen risico vormt voor de volksgezondheid, kan je nog de grens over.”

Maar verplicht vaccineren was juridisch niet mogelijk. Waar begin je dan?

“Begin altijd met het einddoel voor ogen. Daar werk je naartoe. Als je weet wat je gaat toetsen en openheid geeft, dan weet je hoe je moet opbouwen in die richting. Je kon het toen nog niet voorspellen, maar je kon al wel verwachten dat een negatieve test ook zou voldoen. Maar om vaccinatie of testuitslag aan te tonen, heb je een registratie nodig.”

“Tijdens de lunch vroeg ik hoe die registratie in z’n werk ging. Het idee was om dit via het elektronisch patiëntendossier (EPD) van het ziekenhuis te doen. Ik zei meteen dat dit niet kon. Zorgmedewerkers mogen namelijk niet in het EPD, dus hoe wordt dat geregistreerd? Mensen om mij heen werden lijkbleek. Er viel een stilte.”

Iedereen realiseerde zich dat dit een groot probleem was.

“Na een paar seconden zei ik dat ik dit wel wilde fixen, maar dat ik wel carte blanche wilde hebben. Toen zijn we meteen mensen gaan bellen. Met het einddoel dus al voor ogen. En op 4 januari gingen de credentials naar de ziekenhuizen en hadden we een datacenter ingeregeld. Ik dacht toen nog dat we 3 miljoen vaccinaties per dag konden registreren. Ik dacht: dat is zo gedaan. Wist ik veel.”

Waar komt de naam OpenKat vandaan?

“Iemand zei dat dit project vanuit het ministerie een codenaam moest hebben. Ik dacht echt: waar gaat dit over, hebben we geen belangrijkere dingen te doen? Ik keek hem boos aan en zei koppig: ‘Dan noem ik het project Branie Bananie’.”

“Ik vertelde er niet bij dat ik een kat genaamd Branie heb, die ik liefkozend Bananie noem. De modules noemden we ook naar katten: Keiko en Zeiko, want Keiko kan echt zeuren. En Hiero werd de validatiemodule. Otis was er toen nog niet. Maar zo werden katten onderdeel van de IT-geschiedenis van Nederland.”

Geweldig dit!

“Toen een ambtenaar de kamer wilde informeren via een kamerbrief, vond hij dat deze projectnaam niet kon. Ik was het daar niet mee eens. We waren bezig met zo’n belangrijke taak, we hadden kerst en oud en nieuw al opgegeven. Deze naam is ook een knipoog om mensen te motiveren.”

“Op een gegeven moment was de ambtenaar om en vernoemden we de hele risicomanagement-tool naar katten. Vervolgens komt de beveiligingsautoriteit naar ons toe. Die zag langzaamaan ook in dat we misschien de randjes opzochten, en misschien wat excentriek waren, maar dat we de goede dingen deden.”

“Hij zei parmantig tegen mij: jij bent niet bevoegd voor het vaststellen van risico’s, maar van kwetsbaarheden. Dat speeltje van jou, dat noem je maar de kwetsbaarheden analyse tool. Ik werd bijna boos om zijn houding. Ik had het nog niet door. Toen ging hij onderstrepen: K.A.T. Keiko werd de mascotte, Hugo de Jonge vond hem immers het leukst.”

En daarmee kwam alles op z’n pootjes terecht.

“Op 29 december begint het besef in te dalen dat we het gingen flikken. De software draaide redelijk en we waren al bezig met de inrichting van het datacenter. Als je onder hoge druk in een crisissituatie werkt, dan moet je harde keuzes maken. ”

“YubiKey is bijvoorbeeld een fantastische oplossing, maar het ontcijferen van data duurt even. Het gevolg was dat de RIVM niet direct de cijfers had. Maar wij vonden registreren belangrijker dan statistieken geven. Dat is de reden dat het twee weken duurde voordat de statistieken op gang kwamen.”  

“Dit hele project ging in sneltreinvaart doordat we de meest intelligente mensen bij elkaar hadden gebracht. Je moet mensen hebben die je kent, want je hebt geen tijd om een paar weken te snuffelen aan elkaar.”