Gedurende de nacht van zaterdag 5 op zondag 6 juni gaan wij twee
van onze vier core routers vervangen. Deze zware nieuwe routers
zullen bijdragen aan de stabiliteit van ons netwerk en de voor de
toekomst geplande traffic-capaciteitsuitbreidingen faciliteren.

Het vervangen van de twee routers zal zaterdagavond 5 juni na 23:59
uur beginnen en zal naar verwachting 1 tot 2 uur onstabiele tot niet
beschikbare verbindingen tot gevolg hebben. Alle XLS
Hosting-producten zullen bij dit onderhoud betrokken zijn.

Gedurende de nacht van zaterdag 5 op zondag 6 juni gaan wij twee
van onze vier core routers vervangen. Deze zware nieuwe routers
zullen bijdragen aan de stabiliteit van ons netwerk en de voor de
toekomst geplande traffic-capaciteitsuitbreidingen faciliteren.

Het vervangen van de twee routers zal zaterdagavond 5 juni na 23:59
uur beginnen en zal naar verwachting 1 tot 2 uur onstabiele tot niet
beschikbare verbindingen tot gevolg hebben. Alle XLS
Hosting-producten zullen bij dit onderhoud betrokken zijn

Wij hebben vanochtend van 10:00 tot ongeveer 11:20 een storing gehad op één van onze VPS clusters.

Na onderzoek is gebleken dat de problemen veroorzaakt zijn door één van de RAID-controlers die defect was geraakt. De andere raidcontroler kon het werk wel overnemen maar degeen met de error stuurde verstorende signalen naar de rest van het cluster. Dit veroorzaakte zoveel overlast binnen het interne netwerk van het cluster dat de servers de verbinding met de SAN (Storage Area Network) kwijt zijn geraakt. Het probleem kon door personeel ter plekke om 11.15 worden verholpen en vervolgens hebben wij alle virtuele servers weer online gebracht.

Wij gaan contact opnemen met de leverancier van de SAN om ervoor te zorgen dat dit probleem zich niet meer voor kan doen. Aangezien wij voor dit soort situaties van redundante RAID-controlers gebruik maken is het voor onze klanten en voor ons niet acceptabel dat het systeem alsnog last kan hebben van het stuk gaan van een enkele RAID-controler.

Alle virtuele server lijken in ieder geval goed te draaien. Neem contact met ons op als u nog vragen of opmerkingen heeft.

Zoals aangekondigd zijn we gisternacht bezig geweest om op onze clusters de infrastructuur te upgraden van Xen3.3 naar Xen3.4.

De hoofdreden hierachter is dat nieuwere Linux kernels tegenwoordig infrastructuur hebben om op basis van paravirtualisatie samen te werken met hypervisors als Xen. Tot voor kort was het alleen maar mogelijk met kernels die hier specifiek op waren aangepast (zogenaamde xen-kernels). Deze nieuwe manier van zaken doen zit in de standaardversie van de kernel zoals deze uit Linus Torvalds’ keuken komt. Deze nieuwe kernels zouden het het voor onze klanten veel makkelijker maken om eigen kernels te draaien en gebruik te maken van nieuwere features zoals FUSE. Echter werken deze nieuwe kernels alleen maar samen met Xen versie 3.4 of hoger.

Ons eerste plan was om de upgrades in een enkele nacht uit te voeren. Dit bleek praktisch niet haalbaar binnen de gestelde tijd, dus op dit moment zijn niet alle clusters al naar Xen 3.4. Wel hebben we gedurende deze upgrade-ronde wat kunnen testen op het gebied van zogenaamde live-migraties tussen de oude en de nieuwe versie van Xen, waardoor uiteindelijk een procedure is ontstaan waarmee we de rest van de clusters kunnen upgraden zonder de betrokken VPS’en te hoeven rebooten.

Voor VPS’en met nummers 2000 tot-en-met 4000 zullen wij de komende week in de avonduren deze upgrades uitvoeren. In de praktijk kan dit betekenen dat op zo’n avond uw VPS twee maal een minuut lang wat langzamer reageert terwijl deze al draaiend wordt verplaatst naar andere hardware.

Afgelopen nacht heeft een deel van onze klanten de bereikbaarheid via IPv6 een probleem gehad. We zijn er hierbij achtergekomen dat ons monitoring-regime op de IPv6-dienst nog niet alle scenario’s goed afdekt. In het huidige klimaat van opkomende schaarste in IPv4-adressen vinden wij dat klanten ook op hun IPv6-connectiviteit moeten kunnen vertrouwen en we zullen dan ook de nodige aanpassingen in onze IPv6-architectuur en monitoring maken om herhaling te voorkomen.

Gisteravond rond 23:00 heeft een machine uit een VPS-cluster op het EUNetworks datacenter de geest gegeven. De VPSen op deze machine zijn door hun secundaire hosts opnieuw geboot. De getroffen hardware is reeds vervangen. Onze excuses voor de overlast.

Enkele uren geleden is een van onze Dells down gegaan door een hardware probleem. 25 virtuele servers waren 20 tot 30 seconden onbereikbaar voordat ze door het XLS fail-over systeem naar een andere server werden verhuist. Onze excuses voor de overlast.

Diverse collega-providers die gebruik maken van LxLabs HyperVM in combinatie met Xen zijn dit weekend getroffen door grootschalige hacks van hun vps-infrastructuur.

We hebben navraag naar deze hacks gedaan en de conclusie is dat de schuld in deze gevallen bij HyperVM lag. HyperVM is een Xen management tool dat door het Indische bedrijf lxlabs gemaakt is en door veel VPS providers gebruikt wordt. XLS Hosting heeft haar eigen management en failover software en maakt dus geen gebruik van dit programma.

Groet,
XLS Hosting Development

Er was vandaag van 14:05 tot ongeveer 15:00 uur een probleem met de routing op een van onze datacentra (Global Switch). Dit resulteerde in het onbereikbaar zijn van twee van onze VPS clusters en een aantal dedicated servers.

Het probleem heeft te maken met een upgrade die wij vorige week aan onze routing infrastructuur hebben uitgevoerd om deze meer redundant te maken. Wij hebben nieuwe routing software geinstalleerd en dit zal er voor zorgen dat dit niet meer kan gebeuren.

De reguliere helpdesk was beschikbaar en wij willen de mensen die wij gesproken hebben danken voor hun begrip en support.

Groet,
XLS sys admin & support

Bij werkzaamheden aan de routers op GlobalSwitch vanavond, besloot de redundante router er ook mee op te houden op datzelfde moment. We waren bezig om specifiek dit probleem op te lossen door een software upgrade uit te voeren. Hierdoor is er een kortstondige onderbreking geweest van het netwerkverkeer op/via GlobalSwitch.

Inmiddels zijn beide routers helemaal bijgewerkt en moeten nu deze problemen niet meer geven. Onze excuses voor de overlast op wat een niet merkbaar onderhoud had moeten worden.

Ons aangekondigde onderhoud van afgelopen weekend dat plaatsvond op EU Networks (de oude KDISS locatie) is met succes afgerond. Alle servers waren zondag ochtend om 3 uur weer bereikbaar en de gemiddelde tijd dat een server onbereikbaar is geweest was anderhalf uur. Met deze upgrade van de routing en switching infrastructuur kunnen we de kwaliteit van dit gedeelte van ons netwerk blijven garanderen.

Met vriendelijke groet,
XLS Systeembeheer & Support

Er zal zaterdag avond 18 april groot onderhoud plaatsvinden binnen de EU Networks-locatie van XLS Hosting (het voormalige KDISS datacenter). Dit gedeelte van het netwerk heeft XLS door de acquisitie van KDISS onder beheer gekregen. Het doel van het onderhoud is om deze locatie met de rest van ons netwerk te integreren en enkele verbeteringen door te voeren.

Wij verwachten niet dat er servers down zullen gaan maar zij zullen gedurende het onderhoud geen verbinding hebben met de buitenwereld. Het onderhoud zal zaterdagavond om 0:00 uur beginnen en wij verwachten dat de servers maximaal 6 uur onbereikbaar zullen zijn.

Wat wij gaan doen:
* Een router vervangen en een andere router upgraden.
* De Global Switch en EU Networks netwerken van XLS combineren door de voormalig KDISS routers het XLS AS te laten overnemen (dit wordt 35470 ipv 31586).
* Meer redundantie op switching-niveau introduceren.

Onze excuses voor de eventuele overlast die u van dit onderhoud ondervindt. Laat het ons weten als u nog vragen of opmerkingen heeft.

Als u een server op de EU Networks locatie in gebruik heeft dan heeft u van ons een email gehad met deze mededeling. U zult nog twee emails ontvangen om u aan het onderhoud te herinneren.

Het groot onderhoud van zondag de 22e is met succes afgerond. De meeste VPSen in het cluster ‘onder behandeling’ waren tussen 4.30 en 5.30 in de ochtend weer online. De VPSen die al meer dan 180 dagen up waren en als gevolg hiervan automatisch een filesystem check gingen doen kwamen iets later beschikbaar.

De andere VPS clusters hebben niets gemerkt, de paar minuten traag netwerk waar wij voor waarschuwden in de emails hebben we kunnen vermijden.

Het doel van de operatie was om ons eerste VPS cluster qua disk toegang even snel te maken als de anderen. Dit is inderdaad het geval dus wij zijn erg tevreden met het resultaat. Wij willen onze klanten nog bedanken voor alle positieve reacties, zowel voor, tijdens, als na het onderhoud.

Ook onze SANs hebben wel eens onderhoud nodig. Hierom gaan wij
op zaterdag 21 februari groot onderhoud uitvoeren. Dit zal in
downtime resulteren voor VPS-nummers tot en met 999.

U kunt meer informatie hierover vinden op onze nieuwspagina.