13-09-2021 - Op zaterdagavond 24 juli werden we het slachtoffer van een DDoS attack. In dit artikel willen we je graag uitleggen welke (extra) maatregelen we nemen om je te beschermen.
Zowat alle hostingaanbieders hebben de afgelopen maanden hinder ondervonden van een toenemend aantal ernstige DDoS aanvallen waarbij netwerken en servers overspoeld worden met verkeer met als doelstelling om de diensten te verstoren.
De aanval op 24 juli op onze nameservers zou ruim 4 uur duren. Er werd snel ingegrepen door onze engineers door de toegang tot onze nameservers te beperken tot Belgische IP-adressen. Systematisch werd verkeer van aanvallende netwerken geblokkeerd en werden bijkomende landen toegelaten. Zo werd de hinder voor onze klanten zoveel mogelijk beperkt.
Zoals gebruikelijk is na een incident wordt er een Post Incident Report gemaakt, om de basisoorzaak te bepalen en maatregelen te nemen om een herhaling te voorkomen. Het onderzoek dat werd uitgevoerd bracht interessante cijfers en feiten naar voor die we graag willen delen.
Er werd een “water torture” attack uitgevoerd, waarbij er in hoge snelheid aanvragen voor willekeurige, onbestaande hostnames op bestaande domeinnamen werden gedaan. Hierdoor konden de nameservers niet alle requests tijdig beantwoorden.
Er waren gemiddeld over die periode van 4 uur meer dan 100.000 requests per seconde, met pieken tot 40.000 requests per seconde op één nameserver. Om dit in perspectief te plaatsen: tijdens de normale werking krijgen we op elk van de 5 nameservers ongeveer 200-300 requests per seconde te verwerken.
De bron van de aanval was niet tot één land of regio beperkt. Op 1 van de nameservers hebben we 2,39 miljoen verschillende IP-adressen geregistreerd, waaruit de aanval werd gedaan.
Om DDoS aanvallen te kunnen afweren staan voor onze nameservers DNS loadbalancers. Die laten toe om de DNS aanvragen te monitoren, door te sturen naar de autoritaire back-end nameservers, de antwoorden tijdelijk te cachen en blokkeringsregels op te leggen.
Het goede nieuws: tijdens de attack zijn de DNS load balancers online gebleven. Tijdens onze labotests konden we al simulaties uitvoeren met meer dan 100.000 requests per nameserver. Dat werd nu bevestigd tijdens een praktijksituatie.
Omdat de back-end nameservers tijdens de aanval gedurende korte periodes onbereikbaar werden door de hoge werklast, gaan we de komende maanden nog extra capaciteit toevoegen voor de back-end nameservers.
Uit het Post Incident Report bleek ook dat er een noodzaak is om verkeer te kunnen blokkeren op 2 manieren: op basis van de oorsprong van de aanval, maar ook op basis van het aantal DNS aanvragen per domein.
Met onze eigen ontwikkelde security agent kunnen we gemakkelijk op een dynamische en fijnmazige manier traffiek naar onze nameserver blokkeren en toelaten. Zo kunnen we verkeer uit de US blokkeren, maar aanvragen van Google en Cloudflare nameserver toelaten.
Door het aantal aanvragen per domein te beperken kunnen we domeinen die aangevallen worden isoleren om zo alle andere klanten te vrijwaren. Na weken van onderzoek en testen, is dit nu uitgerold op één nameserver. Bij succesvolle praktijktests wordt dit ook uitgerold op de andere nameservers.
Andere acties die we genomen hebben zijn het beter detecteren van de bronnen van een aanval. Die aanvallen kunnen we nu in real-time beter in kaart brengen. We hebben ook de beschikbare resources verhoogd op alle nameservers. Daarnaast worden ANY requests nu standaard geblokkeerd. Hiermee vermijden we een andere aanvalsvector.
Door deze maatregelen zijn we beter gewapend tegen toekomstige DDoS aanvallen. Het is echter een kat-en-muis spel met de aanvallers. Er zullen nieuwe methodes komen om aan te vallen en de trend is dat aanvallen steeds zwaarder worden.
Daarom blijven we verder de aanvallen en aanvalspogingen op onze infrastructuur en bij collega’s opvolgen en gaan we onze beveiligingslagen blijven bijsturen. De vraag is immers niet of er een volgende aanval komt, maar wanneer.
