begintijd 10 februari 2015 – rond 11:00
eindtijd 11 februari 2015 – ochtenduren

Momenteel ondervinden websites van onder andere de Rijksoverheid storing en zijn niet bereikbaar. Oorzaak ligt bij een significante storing bij de hosting provider Prolocation.

De oorzaak lijkt te liggen op netwerk niveau. De routing laat zien dat de backbone van Prolocation traffic dropt. In ieder geval komt er geen traffic vanuit Openpeering, waar de meeste verbindingen via routen naar hun netwerk, meer door.

Update 11 februari 2015 – 11:40

Prolocation directeur plaatste eerder vanochtend in de reacties van het artikel de volgende verklaring:

Beste Klant,

Gisteren om 09:45 uur is geconstateerd dat de bereikbaarheid van een aantal van de gehoste websites en diensten is weggevallen.

Na eerste analyse bleek dat het een grote verstoring in de datacentra betrof en zijn er twee teams van engineers ter plaatse gegaan voor analyse en oplossing. Het probleem was dermate complex, dat er voor de analyse veel tijd nodig was: de symptomen wezen in eerste instantie op een technische verstoring, echter bleek het om een aanval van buitenaf te gaan. De aanval had het karakter van een DDOS, zonder dat het heel veel verkeer genereerde. Na deze constatering is er direct begonnen met het wegfilteren van dit verkeer, dat er toe leidde dat begin van de avond (19:07 uur) de websites weer beschikbaar was. De aanval is hierna gestopt, waardoor we geen diepgaande loggings (dumps) hebben kunnen zeker stellen. Vervolgens zijn de laatste werkzaamheden verricht en hebben we technische testen uitgevoerd om vast te stellen dat de websites weer goed functioneren.

Telefonisch zijn we tijdens deze periode niet altijd even goed bereikbaar
geweest. Onze telefooncentrale maakt gebruik van een VOIP verbinding die over ditzelfde netwerk liep. We gaan dit de komende dagen aanpassen. Excuus daarvoor. We zullen dat verbeteren.

We willen jullie bedanken voor het begrip en steun tijdens het oplossen.
Er zal een outage report worden opgesteld die op onze website te downloaden zal zijn. Of op verzoek sturen we deze natuurlijk graag toe.

Natuurlijk zijn we de rest van de week beschikbaar voor het beantwoorden van aanvullende vragen. Om eventuele onduidelijkheid weg te nemen.

Met vriendelijke groet,
Raymond Dijkxhoorn – Prolocation

Update 11 februari 2015 – 10:15

De Rijksoverheid heeft zojuist een verklaring afgegeven over de storing en bevestigt officieel de DDoS aanval.

Update 11 februari 2015 – 09:43

Volgens Prolocation ligt de oorzaak van de storing bij een DDoS aanval op hun netwerk. Hierbij is volgens Prolocation samengewerkt met het NCSC (Nationaal Cyber Security Centrum). Een uitgebreide verklaring is nog niet voorhande.

Wat erg verbaasd is dat het zo lang heeft moeten duren om tot de verklaring te komen. Een DDoS aanval, wat feitelijk betekent dat veel computers de pijplijnen naar een server of meerdere servers dichtgooien door gigantisch veel verkeer er naartoe te sturen, is vrij direct aan het begin van een dergelijke aanval te zien. Het roept verschilende vragen op:

Waarom werd er niet gecommuniceerd over een DDoS, terwijl het feitelijk al heel snel gespot kon worden? Hadden ze het gewoon niet door?

Wanneer is de DDoS werkelijk gespot intern en wanneer is men werkelijk gestart met DDoS mitigation? Welke middelen zijn daarbij ingezet?

Is het Prolocation netwerk of zijn belangrijke delen ervan voorzien van DDoS protectie?

Hoe kan het gehele core netwerk van zo’n belangrijke partij door een DDoS geraakt worden, terwijl andere partijen hun core spreiden/segmenteren om dit soort redenen?

Update 11 februari 2015 – 09:30

De storing is inmiddels zo goed als verholpen. Een samenvatting van de gebeurtenissen:

1. Op dinsdag 10 februari 2015 11:00 krijgen wij steeds meer signalen dat er iets mis is in een datacenter in de omgeving van Amsterdam. Het bleek uiteindelijk om Prolocation te gaan. De storing treft direct sites als Rijksoverheid.nl, GeenStijl.nl en Telfort.nl

2. Er wordt rond het middaguur gesproken over glasvezelbreuk, maar het bericht blijft de uren erna onbevestigd.

3. Rond 14:30 melden enkele partijen weer verbinding te hebben, maar dit wordt vrijwel direct ingetrokken. De storing duurt voort.

4. De uren erna wordt zichtbaar dat men vanalles probeert om het verkeer weer op gang te krijgen, maar zonder enig resultaat. Het netwerk van Prolocation is volledig onbereikbaar. Ook de informatievoorziening van Prolocation blijft uit. Inmiddels hebben we monitoring opgezet op verschillende paden, om de ontwikkelingen real-time in de gaten te houden vanuit Amsterdam en Londen.

5. Om 19:10 meldt één monitoring pad dat de routing naar het Prolocation netwerk weer doorkomt. Het blijkt om een webserver cluster te gaan bij Prolocation, waar kleinere sites op gehost worden. Na wat testen blijken inderdaad de sites op die cluster weer bereikbaar. Dit is de eerste melding vanaf het begin van de storing, dat er weer werkelijk herstel heeft plaatsgevonden.

6. Niet veel later blijken Rijksoverheid.nl en Telfort.nl via IPv6 bereikbaar te zijn. Rond 19:50 kunnen ook normale verbindingen, via IPv4, bij de sites en zijn vanaf dan hersteld. Helaas is op dat moment nog steeds een deel van het netwerk down.

7. Net na 22:00 zien we de resterende sites online komen. De storing lijkt bijna geheel voorbij, al zien we dat de site van Prolocation zelf het amper doet en houden slag om de arm.

Update 10 februari 2015 – 00:00

De dag eindigt met nog steeds de aanhoudende problemen op de site van Prolocation zelf en waarschijnlijk een klein deel sites/applicaties welke van klanten nog niet bereikbaar zijn.

Update 10 februari 2015 – 23:18

Het is even in de gaten gehouden en de Prolocation site laadt maar af en toe en heel traag, maar klapt er ook weer vaak uit. Vermoeden dat er toch nog een klein deel niet goed loopt.

Update 10 februari 2015 – 22:55

De storing is nog niet voorbij. Onder andere de site van Prolocation zelf is nog niet bereikbaar.

Update10 februari 2015 – 22:35

Prolocation heeft afgelopen weekend nog werkzaamheden uitgevoerd aan haar netwerk.  De directeur van Prolocation bestempelt het op Facebook als ‘Weekendje fiberen’. Of dit ermee te maken heeft, is nog onduidelijk. Op basis van alle grote storingen die wij hebben gemeld in de afgelopen jaren, komt recentelijk onderhoud hoog op de lijst uit als oorzaak van storingen. Prolocation heeft de hele dag nog geen enkele update gegeven omtrent de grote storing op haar netwerk.

bron: ISPam.nl

Update10 februari 2015 – 22:25

Ook het deel wat eerder niet bereikbaar was, is zojuist online gekomen. Of de gehele storing daarmee is opgelost, is nog lastig te zeggen. Het grootste gedeelte is in ieder geval weer online.

Update 10 februari 2015 – 20:00

Het is nog niet voor iedereen feest. Een deel ligt er nog steeds uit. We krijgen signalen dat de problemen liggen bij de core switches van Prolocation. Dit kunnen we niet vanuit onze observaties direct bevestigen, maar de routing problematiek kan wel verband houden met het falen van dergelijke switches.

Update 10 februari 2015 – 19:50

Rijksoverheid.nl en Telfort.nl zijn zojuist weer online!

Update 10 februari 2015 – 19:25

Een webserver cluster van Prolocation lijkt weer bereikbaar. We kunnen nu enkele sites op die cluster bereiken. Het gaat hier om wat kleinere sites (voorbeeld1, voorbeeld2) die bij Prolocation gehost worden. De grote jongens liggen er nog steeds uit, routing paden komen daar nog steeds border routing van Prolocation niet voorbij.

Update 10 februari 2015 – 19:14

Eerste lichtpuntje van de avond. Eén van de paden liet plots een volledig pad zien en na het checken is dit de eerste webserver die vanaf Prolocation weer reageert:

Het routing pad loopt via OpenPeering zonder enige omleiding. Routing lijkt op dit stuk goed te gaan.

Update  10 februari 2015 – 18:48 uur

Men lijkt weer sinds enkele minuten te sleutelen aan de routing. Een deel van de paden eindigt wederom in een routing loop. Een ander deel lijkt nu via Interoute te lopen, wat ook weinig uithaalt.

Update 10 februari 2015 – 18:20 uur

Nu is de vraag bij sommige: wie of wat is Prolocation? Prolocation is een bedrijf wat je het beste kan omschrijven als managed hosting/network service provider. De gemiddelde persoon stapt voor z’n website naar een hosting provider en neemt een hosting pakket voor een paar euro af.

De grotere sites of meer professionele instanties hebben zodanig verkeer en/of servers nodig, dat men die zorgen liever uit handen geeft. Dergelijke sites vergt gewoon meer techniek, kennis en zijn veeleisend, zoals het eisen van high availability (= dat de site eigenlijk in alle omstandigheden blijft werken en de infrastructuur daarin voorziet). Er hangt hier ook een flink prijskaartje aan en deze providers doen ook meestal enkel partijen zoals de overheid en partijen waarvan de website zeer bedrijfskritisch is.

Je kan zowel connectiviteit (dan koop je feitelijk enkel de verbinding en plaats je servers en andere datacenter faciliteiten die je zelf koopt) of ook managed servers (dat zijn servers door hun gekocht en ook in hun beheer) bij dit soort partijen afnemen. Een site als GeenStijl neem bijvoorbeeld beide af.

Men spreekt ook vaak iets over SLA af, wat inhoudt dat de hosting partij minimaal een bepaalde beschikbaarheid van de site of server moet leveren. Doen ze dat niet, dan heeft dat (financiële) gevolgen. Ook kunnen er zaken afgesproken worden over redundantie, security, etc.

Update  10 februari 2015 – 18:00 uur

Eet smakelijk! Ondertussen bereikt de storing zelfs nu de politiek. PVDA wilt nu opheldering hebben waarom de site van Rijksoverheid er zo lang uit kan liggen en geen backup voorhande is.

Update 10 februari 2015 – 17:30 uur

Afgelopen 45 minuten geen nieuwe ontwikkelingen. Alle paden zijn constant en laten geen nieuwe omleiding pogingen zien.

Update 10 februari 2015 – 17:07 uur

Prolocation heeft zelf ongeveer een uur geleden op Twitter aangegeven dat ze ‘momenteel een netwerkstoring ondervinden’. Alhoewel de rest van Nederland dat al wist, laat men ook weten de oorzaak nog niet achterhaald te hebben.

Update 10 februari 2015 – 16:56 uur

Zien nu inderdaad dat het niet geheel gelijk is qua routing. Eén van onze locaties komt vanaf Telia  en die geven nog routing via Atrato naar Prolocation. De rest komt wel direct op OpenPeering weer uit en willen via daar naar Prolocation. Beide raken de border routing van Prolocation nu wel aan, maar komen niet verder.

Update 10 februari 2015 – 16:47 uur

Op dit moment monitoren we de routing paden vanaf drie locaties, waaronder een datacenter nabij die van Prolocation en een datacenter in Londen. Drie verschillende backbones en dus ook internationaal. Alle paden komen momenteel uit op dezelfde routing.

Dit gebeurt om zeker te weten dat we vanaf verschillende netwerken kunnen zien of er echt progressie is en om te kijken of bepaalde netwerken geen aparte omleiding hebben als dubbelcheck.

Update 10 februari 2015 – 16:40 uur

Het omleiding avontuur lijkt voor nu even voorbij. De routing paden gaan nu allemaal weer richting en via OpenPeering. Terug bij af.

Update 10 februari 2015 – 16:35 uur

Een paar grote sites zijn de storing blijkbaar zo zat, dat ze tijdelijk een ander onderkomen hebben gezocht. Zo zijn GeenStijl.nl en Glamora.ma tijdelijk bij Tumblr ondergebracht en serveren nu een wat kalere site.

Update 10 februari 2015 – 16:24 uur

Zien nu ook Telia voorbij komen in de verwoede pogingen om weer verbinding te krijgen. Het verkeer vliegt af en toe alle kanten op over verschillende paden, maar vliegt vervolgens ook weer in het niets met routing die volledig in de soep loopt.

Update 10 februari 2015 – 16:04 uur

Na wat vage routing loops ook via de nieuwe omleiding, is er nog weinig vooruitgang in het afgelopen half uur geboekt.

Update 10 februari 2015 – 15:48 uur

We zien nu wat men probeert te doen. Het pad naar OpenPeering is er bij 1 zojuist uitgegooid en routen nu via Atrato naar dezelfde border router bij Prolocation. Wat verder nog hetzelfde resultaat oplevert.

Update 10 februari 2015 – 15:45 uur

We zien plots op één van de routing paden omleidingen naar Telia en Atrato IP verschijnen. Al zien we ook gelijk dat die niet goed geconfigureerd zijn en uitmonden in zogenaamde routing loops. Feitelijk daarmee even ver van huis.

Update 10 februari 2015 – 15:40 uur

Zojuist is een nieuwe deel van de backbone even online geweest. Het is de routing meer richting de endpoints (= servers).  Ook hier weer zware package losses en daarna offline.

Update 10 februari 2015 – 15:31 uur

Zojuist wordt hier de gehele routing naar de Prolocation backbone zichtbaar. Het klappert als een gek. Het komt heel even op en vliegt er ook geheel weer uit. Men is duidelijk op de backbone bezig de zaken online te krijgen.

Update 10 februari 2015 – 15:27 uur

Prolocation border router die OpenPeering accepteert, lijkt nu stabiel. De rest van de Prolocation backbone is echter nog niet zichtbaar.

Update 10 februari 2015 – 15:20 uur

Nog meer leven! De tweede routing hop achter de border routing die OpenPeering traffic accepteert meldt zich weer. Package loss op beide suggereert dat beide nog geen raad weten met de traffic en gewoon vrijwel alles droppen.

Update 10 februari 2015 – 14:55 uur

De sites die melden dat ze bereikbaar zijn, routen allen via Telia. Of dit de standaard routing of omleidingen zijn, is niet te zien. Alles wat niet via Telia route, lijkt nog down.

Update 10 februari 2015 – 14:41 uur

Volgens de laatste berichten gaat het toch om een glasvezelbreuk richting een TeleCity datacenter. Engineers blijken ook onsite te zijn en reparaties uit te voeren. De oplossing lijkt nu nabij. Sommige sites melden voorzichtig, dat deze weer bereikbaar zijn.

Voor wat we hier zien wordt de connectie inderdaad wel opgezet, maar de sites zelf laden nog niet. Via OpenPeering komt er in ieder geval nog geen traffic door.

Update 10 februari 2015 – 14:12 uur

De storing duurt voort. Er wordt nu gesuggereerd dat het toch niet aan een glasvezelbreak ligt. Waar het wel aan ligt? Dat is een vraag waar nog werkelijk niemand antwoord op lijkt te hebben, naast het feit dat de communicatie vrijwel nog steeds 0 is vanuit de getroffen hosting partij. Wederom kunnen we hierdoor geen mogelijke oplostijd melden.

Update 10 februari 2015 – 12:55 uur

Op dit moment is er nog geen oplossing in het vooruitzicht. De communicatie vanuit Prolocation is naar de meeste partijen toe vrijwel nihil. Oplostijd is daarom ook onbekend.

Update 10 februari 2015 – 12:00 uur

Er wordt nu gesproken over een gebroken glasvezel kabel in de regio van Amsterdam, die de peering richting hun datacenter verstoord.

Update 10 februari 2015 – 11:55 uur

Zowel providers (Domeinbalie, Telfort) als grote sites zoals GeenStijl.nl zijn getroffen door deze storing. Domeinbalie meldt inmiddels dat de problemen bij hun weer lijken te herstellen. Bij de overig getroffen zien we op dit moment nog geen herstel.