Wij hebben vanochtend van 10:00 tot ongeveer 11:20 een storing gehad op één van onze VPS clusters.

Na onderzoek is gebleken dat de problemen veroorzaakt zijn door één van de RAID-controlers die defect was geraakt. De andere raidcontroler kon het werk wel overnemen maar degeen met de error stuurde verstorende signalen naar de rest van het cluster. Dit veroorzaakte zoveel overlast binnen het interne netwerk van het cluster dat de servers de verbinding met de SAN (Storage Area Network) kwijt zijn geraakt. Het probleem kon door personeel ter plekke om 11.15 worden verholpen en vervolgens hebben wij alle virtuele servers weer online gebracht.

Wij gaan contact opnemen met de leverancier van de SAN om ervoor te zorgen dat dit probleem zich niet meer voor kan doen. Aangezien wij voor dit soort situaties van redundante RAID-controlers gebruik maken is het voor onze klanten en voor ons niet acceptabel dat het systeem alsnog last kan hebben van het stuk gaan van een enkele RAID-controler.

Alle virtuele server lijken in ieder geval goed te draaien. Neem contact met ons op als u nog vragen of opmerkingen heeft.

Zoals aangekondigd zijn we gisternacht bezig geweest om op onze clusters de infrastructuur te upgraden van Xen3.3 naar Xen3.4.

De hoofdreden hierachter is dat nieuwere Linux kernels tegenwoordig infrastructuur hebben om op basis van paravirtualisatie samen te werken met hypervisors als Xen. Tot voor kort was het alleen maar mogelijk met kernels die hier specifiek op waren aangepast (zogenaamde xen-kernels). Deze nieuwe manier van zaken doen zit in de standaardversie van de kernel zoals deze uit Linus Torvalds’ keuken komt. Deze nieuwe kernels zouden het het voor onze klanten veel makkelijker maken om eigen kernels te draaien en gebruik te maken van nieuwere features zoals FUSE. Echter werken deze nieuwe kernels alleen maar samen met Xen versie 3.4 of hoger.

Ons eerste plan was om de upgrades in een enkele nacht uit te voeren. Dit bleek praktisch niet haalbaar binnen de gestelde tijd, dus op dit moment zijn niet alle clusters al naar Xen 3.4. Wel hebben we gedurende deze upgrade-ronde wat kunnen testen op het gebied van zogenaamde live-migraties tussen de oude en de nieuwe versie van Xen, waardoor uiteindelijk een procedure is ontstaan waarmee we de rest van de clusters kunnen upgraden zonder de betrokken VPS’en te hoeven rebooten.

Voor VPS’en met nummers 2000 tot-en-met 4000 zullen wij de komende week in de avonduren deze upgrades uitvoeren. In de praktijk kan dit betekenen dat op zo’n avond uw VPS twee maal een minuut lang wat langzamer reageert terwijl deze al draaiend wordt verplaatst naar andere hardware.

Afgelopen nacht heeft een deel van onze klanten de bereikbaarheid via IPv6 een probleem gehad. We zijn er hierbij achtergekomen dat ons monitoring-regime op de IPv6-dienst nog niet alle scenario’s goed afdekt. In het huidige klimaat van opkomende schaarste in IPv4-adressen vinden wij dat klanten ook op hun IPv6-connectiviteit moeten kunnen vertrouwen en we zullen dan ook de nodige aanpassingen in onze IPv6-architectuur en monitoring maken om herhaling te voorkomen.

Gisteravond rond 23:00 heeft een machine uit een VPS-cluster op het EUNetworks datacenter de geest gegeven. De VPSen op deze machine zijn door hun secundaire hosts opnieuw geboot. De getroffen hardware is reeds vervangen. Onze excuses voor de overlast.

Enkele uren geleden is een van onze Dells down gegaan door een hardware probleem. 25 virtuele servers waren 20 tot 30 seconden onbereikbaar voordat ze door het XLS fail-over systeem naar een andere server werden verhuist. Onze excuses voor de overlast.

Diverse collega-providers die gebruik maken van LxLabs HyperVM in combinatie met Xen zijn dit weekend getroffen door grootschalige hacks van hun vps-infrastructuur.

We hebben navraag naar deze hacks gedaan en de conclusie is dat de schuld in deze gevallen bij HyperVM lag. HyperVM is een Xen management tool dat door het Indische bedrijf lxlabs gemaakt is en door veel VPS providers gebruikt wordt. XLS Hosting heeft haar eigen management en failover software en maakt dus geen gebruik van dit programma.

Groet,
XLS Hosting Development

Er was vandaag van 14:05 tot ongeveer 15:00 uur een probleem met de routing op een van onze datacentra (Global Switch). Dit resulteerde in het onbereikbaar zijn van twee van onze VPS clusters en een aantal dedicated servers.

Het probleem heeft te maken met een upgrade die wij vorige week aan onze routing infrastructuur hebben uitgevoerd om deze meer redundant te maken. Wij hebben nieuwe routing software geinstalleerd en dit zal er voor zorgen dat dit niet meer kan gebeuren.

De reguliere helpdesk was beschikbaar en wij willen de mensen die wij gesproken hebben danken voor hun begrip en support.

Groet,
XLS sys admin & support

Bij werkzaamheden aan de routers op GlobalSwitch vanavond, besloot de redundante router er ook mee op te houden op datzelfde moment. We waren bezig om specifiek dit probleem op te lossen door een software upgrade uit te voeren. Hierdoor is er een kortstondige onderbreking geweest van het netwerkverkeer op/via GlobalSwitch.

Inmiddels zijn beide routers helemaal bijgewerkt en moeten nu deze problemen niet meer geven. Onze excuses voor de overlast op wat een niet merkbaar onderhoud had moeten worden.

Ons aangekondigde onderhoud van afgelopen weekend dat plaatsvond op EU Networks (de oude KDISS locatie) is met succes afgerond. Alle servers waren zondag ochtend om 3 uur weer bereikbaar en de gemiddelde tijd dat een server onbereikbaar is geweest was anderhalf uur. Met deze upgrade van de routing en switching infrastructuur kunnen we de kwaliteit van dit gedeelte van ons netwerk blijven garanderen.

Met vriendelijke groet,
XLS Systeembeheer & Support