Grote CloudVPS storing
In de loop van de ochtend werd Equinix getroffen door een datacenter storing. De storing is veroorzaakt door graafwerkzaamheden, waarbij een glasvezel kabel richting het datacenter was geraakt. De verbinding is sinds 11:30 hersteld en systemen zijn weer herstellende.
Update 18:00 uur
Alle VPSen zijn sinds zojuist weer bereikbaar.
Update 16:40 uur
CloudVPS heeft nog steeds de storing niet onder controle. Men heeft rond 16:00 een aantal netwerkcomponenten herstart, waardoor het gehele netwerk onderbrekingen kon ondervinden van zo’n 15 minuten. Men is nog steeds bezig met het oplossen van de storing.
Men heeft al aangegeven later vandaag een officieel rapport te mailen naar klanten omtrent de storing.
Update 15:20 uur
De storingsinformatie blijkt toch niet helemaal correct te zijn, zoals hier te lezen was. Equinix laat via de mail het volgende weten:
‘Het netwerk van CloudVPS is getroffen door een storing. Deze storing is niet veroorzaakt door Equinix zoals wordt gesuggereerd in jullie artikel.’
CloudVPS maakt wel gebruik van Equinix, namelijk datacenters AMS1 en AMS4. Equinix zelf is niet getroffen.
Update 13:20 uur
Sommige providers/websites hebben nog steeds last van de getroffen locatie (= alle pijlen richten op Equinix in Amsterdam). De graafschade is toch groter dan ingeschat, want er zijn meerdere datacenters van Equinix getroffen.
Dergelijke incidenten komen helaas vaker voor. Bij graafwerkzaamheden heeft men vrijwel altijd wel informatie waar kabels in de grond liggen op de plek van de werkzaamheden. Echter wordt er vaak alsnog niet goed of onnauwkeurig omgesprongen met de informatie. In andere gevallen klopt de gegeven informatie over de legging in de grond niet helemaal. Aangezien de kabel al geraakt is voordat deze zichtbaar is voor het oog, is een storing zo ontstaan.
Hoe kan het dat Equinix niet getroffen is maar CloudVPS wel? Hebben zij een eigen lijn?
Vooralsnog is het vooral onduidelijk waar het inzit (anders dan kapotte fiber ergens nagraafwerkzaamheden), maar mogelijk ligt er voor CloudVPS zelf een verbinding tussen verschillende DC’s en die lijkt stuk. Waarom dat voor alle vps-en problemen opleverde is onduidelijk, waarom een groot aantal vps ranges nog niet/deels beschikbaar zijn is ook onbekend.
je kunt wel een kabel hebben die links en rechts het pand binnenkomt, maar als deze uit 1 bron komt en maar als de kabel voor het opsplitsen wordt gebroken bij de upstream leverancier.. tja dan houd het toch echt op.
En als je, je webshop beetje serieus neemt zorg je dat je die zelf ook in meerdere datacenter hebt onder gebracht met automatische failover loadbalancing. Als je dat te duur vind, voor je online kralenwinkeltje, dan zal je geleden schade ook wel meevallen denk ik dan 😉
Je voorbeeld is leuk als deze voor het opsplitsen gebroken wordt. Ik denk dat je er van uit mag en moet gaan dat je als datacenter nooit van 1 kabel afhankelijk mag zijn.
Het kan niet zo zijn dat 1 kabel ergens gesplitst wordt, de kabel zou altijd gesplitst moeten lopen van de ene naar de andere bron.
Dat idee is toch ook het ring principe. Word het op 1 punt onderbroken loopt het via het andere punt. Heb je dat niet in de basis al verkeerd lijkt me.
@rene : volgens mij werd het hele netwerk van CloudVPS werd geraakt incl eigen site en dns, en dat is volgens mij over verschillende clouds en zelfs DC’s gespreid. Het lijkt me ook niet dat redunantie qua kabels tussen DC’s via omwegen wordt gelegd, dus mogelijk zijn het (alleen) meerdere kabels via eenzelfde route. Een goedgemikte graafmachine kan dan mogelijk toch in 1x voor grote problemen zorgen. Vooralsnog is onduidelijk wáár het bij CloudVPS misging, daar zijn ze nog druk mee.
Het ligt er maar net aan hoe je infrastructuur hebt ingericht. Al helemaal belangrijk als je bedrijf “Cloud” in de naam draagt. Anyways..wij draaien gewoon lekker verder 😉
Mag ik vragen hoe je dit hebt ingeregeld Xander?
Ik had maar 1 VPS wat er uit lag voor anderhalf uur. Niet de complete omgeving van CloudVPS lag plat
Inderdaad, minstens 2 dikke kabels die fysiek vanaf 2 verschillende kanten binnenkomen zou de kans op totale uitval toch al drastisch moeten verlagen….
En blijkbaar wordt het ook tijd dat er flinke betonnen blokken/platen over kabeltunnels gelegd worden om zulk soort essentiële kabels beter te beschermen tegen de zeer creatieve fouten die blijkbaar relatief makkelijk gemaakt kunnen worden..
Wat een shit zooi. Webwinkel al de hele dag plat ! Waar kan ik de rekening naar toe sturen =
Mijn servers waren ook down en dit moet niet kunnen. Ik heb begrepen dat bij een datacenter kabels altijd vanuit 2 richtingen het pand binnenkomen juist om dit soort problemen te verhelpen.
Moet ik tot de conclusie komen dat dit bij equinox dus niet het geval is en er hierdoor nu dus grote problemen zijn ?
Als dit zo is lijkt me dat mijn hosting toch naar ander datacenter moet.
Ik vraag me af hoe zo’n groot datacentrum van één kabel afhankelijk kan zijn. Ik ging er toch van uit dat Equinix geen single point of failure heeft.