Forbedringspotentialer
På baggrund af DDoS-angrebet og det efterfølgende driftsnedbrud har vi identificeret følgende forbedringsområder, som vi gerne vil gennemgå enkeltvis.
- Hurtigere reetablering af beskadigede servere
- Opsplitning i flere delmiljøer
- Isolering af kunder i tilfælde af DDoS-angreb
- Modstandskraft mod DDOS-angreb med væsentlig volumen
- SSL-certifikatudstedelse
Hurtigere reetablering af beskadigede servere
DDoS-angrebet førte til driftsnedbrud, da en del af vores serverinfrastruktur tilfældigvis blev beskadiget. (En RAID-controller stod af og krævede, at en central server blev reinstalleret).
Dette medførte, at serverfejlen først skulle identificeres, og hardware komponenter skulle tjekkes af vores serverdriftspartner, Hetzner. Da dette skete i aften- og nattetimerne, var kommunikationen frem og tilbage langsommere, end vi kunne have ønsket os.
Tiltag
- Vi har revideret vores procedure for udskiftning af servere. Grundlæggende har vi altid en separat server stående i vores miljø, som vi kan flytte diskbilleder fra andre servere over på. Dette vil reducere nedetid betydeligt i tilfælde af driftsnedbrud, der kræver udskiftning af hardware.
Opsplitning i flere delmiljøer
Hele idéen med GoBasic som SaaS er, at I som kunder høster fordelene af en delt service, der konstant forbedres og udvides på tværs. Indtil nu har vi kørt alle kunder på den samme driftsinfrastruktur for at kunne sikre effektiv opdatering og ensartethed på tværs af løsninger. Med den kundetilvækst vi har oplevet, havde vi dog allerede valgt at dele vores kundeløsninger op i flere adskilte driftsmiljøer som en del af vores kommende infrastruktur, der skulle lanceres i 2024 med GoBasic V6.
Tiltag
- Med baggrund i DDoS-angrebet / driftsnedbruddet den 11. september har vi nu valgt at fremrykke de dele af vores kommende driftsmiljø, som handler om at opsplitte vores kunder i foreløbigt to front-end farme. Vi er derfor ved at opsætte en ny front-end farm til de af vores statslige kunder, der på den statslige SKI-aftale har tilkøbt Guldservice.
- De resterende statslige myndigheder, kommunale kunder samt alle intranet-løsninger vil fortsat driftes i vores eksisterende front-end farm.
- Begge kundegrupper vil opleve højere stabilitet, da et evt. større DDoS-angreb / driftsnedbrud i udgangspunktet vil ramme en mere afgrænset kundegruppe.
Isolering af kunder i tilfælde af DDoS-angreb
Både før, under og efter DDoS-angrebet er vores DDoS-angrebsprocedure at isolere den eller de angrebne kunder fra de resterende kunder, så en evt. trafikprop ikke spreder sig på tværs af sites. Kort fortalt blokerer vi i første omgang trafik til en kundeløsning under angreb. Herefter aktiverer vi geoblokering, så kun trafik fra Danmark tillades, mens angrebet står på. Disse tiltag foretages umiddelbart efter, et angreb identificeres, ved at vores overvågningssystem sender os en alarm.
Vi har dog foretaget en procedureændring for at forbedre isoleringen.
Tiltag
- Yderligere automatisk begrænset CPU-allokering pr. kunde, så ikke omfattede kunder med større sandsynlighed kan fortsætte uafbrudt drift, selv under angreb.
Modstandskraft mod DDOS-angreb med væsentlig volumen
I kraft af at vi har udvalgte “høj risiko kunder” (primært centrale statslige myndigheder) blandt vores kunder, kan vi desværre forestille os angreb med endnu større kraft end det angreb, som ramte os den 11 september. Efter dialog med vores hostingleverandør er vi nået til den konklusion, at den eneste måde effektivt at imødegå eksempelvis angreb i Terabit-klassen er ved at anvende en dedikeret Anti DDoS CDN-leverandør. Dermed bliver alt slutbrugertrafik håndteret gennem Anti DDoS CDN-tjenesten, som kan håndtere disse ekstreme trafikmængder, og som har meget avancerede scrubbere til at filtrere “ond” trafik fra i tilfælde af et angreb.
Tiltag
- Udover et internt sekundært front-end server setup til kunder med Guldservice, ønsker vi for disse kunder at offloade slutbrugertrafikken til en DDoS CDN-leverandør. Vi har valgt AKAMAI som underleverandør.
- Samtidig med udsendelsen af dette skriv har vi udsendt et særskilt dokument til kunder med Guldservice, der beskriver processen for denne overgang. Vi forventer, at overgangen gennemføres inden for de næste 14 dage.
SSL certifikatudstedelse
Driftsnedbruddet den 11. september illustrerede sårbarheden af, at enkelte kunder har fysiske certifikater udstedt af tredjepart. Dette medførte betydelig længere nedetid, før disse kunder var tilbage i stabil drift.
Tiltag
- Vi er allerede i tæt dialog med nuværende kunder, der ikke har automatisk certifikatudstedelse igennem os.
- Ved kommende lanceringer af nye sites er det et krav fra vores side, at vi overtager SSL-certifikatudstedelsen.
Hvad skal I som kunder foretage jer?
- Vi tager fat i alle statslige kunder med Guldservice for at koordinere overgangen til nyt servermiljø og DDoS CDN-leverandør.
- Alle andre kunder skal ikke foretage sig yderligere.
Informationsmøde
Vi ved at denne kommunikation er af temmelig teknisk karakter, og at den evt. kan skabe behov for at få besvaret yderligere spørgsmål. Vi inviterer derfor til et fælles informationsmøde, som alle kunder er meget velkomne til at deltage i.
Informationsmødet afholdes online tirsdag den 3. oktober kl. 13 - 14. Mødet kan tilgås via følgende link: https://meet.google.com/qot-dcyw-noa
Akutte spørgsmål
Har du akutte spørgsmål, som ikke kan vente til informationsmødet, er du som altid velkommen til at tage fat i vores support på support@beru.zendesk.com
Med venlig hilsen
Rasmus Rudolf
Adm direktør, Berú
E: rasmus@beru.dk
M: 5077 5690