Update 15:07 uur: We zijn aangekomen bij de volgende stap: op dit moment hebben we de scripts om back-ups te maken, aangepast. Zo hopen we weer van alle sites back-ups te kunnen gaan maken. We monitoren hoe dit uitpakt! Daarnaast loopt ook nog het inrichten van een parallelle server, echter kost dit meer tijd.

Update 12:55 uur: Onze aanpak lijkt resultaat op te leveren. Na de lunch starten we het maken van databaseback-ups om zo weer van alle sites recente back-ups beschikbaar te hebben. Uiteraard rapporteren we vanmiddag nog over de voortgang!

Update 10:08 uur: We hebben nu een aantal back-up diensten verplaatst naar andere fileservers waardoor we ruimte kunnen vrijmaken op de databaseback-upserver, waardoor we de back-ups weer moeten kunnen bijwerken. Zodra de ruimte vrij is, kunnen onze techneuten een inschatting maken van de oplostijd. Parallel hieraan richten we ook een extra server in, mocht onze eerste oplossing niet (voldoende) werken.

Update 1 april 9:30 uur: Ondanks onze inspanningen is het niet gelukt om de back-ups van de databases afgelopen nacht bij te werken. Onze techies onderzoek de oorzaak en verschillende mogelijke oplossingen. 

31 maart 17:21 uur: Helaas blijkt dat voor een aantal sites in segment 2 de laatste twee databaseback-ups niet zijn gemaakt. Het kan zijn dat je in je Service Panel geen back-up kan opvragen van 3 of 6u geleden (SLA) 24 of 48u geleden (niet SLA). We werken er hard aan om de databaseback-ups komende nacht weer bijgewerkt te hebben, zodat er voor elke site een recente back-up beschikbaar is.

Uiteraard is onze live databasereplicatie wel beschikbaar, mochten
er databaseproblemen zijn, dan schakelen we over de deze gereedstaande
replicator.

In de nacht van woendag 26 maart op donderdag 27 maart van 0:00 tot 01:00 uur zullen we een rackswitch in ons netwerk vervangen. Hiermee brengen we de redundantie terug in het betreffende rack. We verwachten geen downtime. 

U kunt via het Service Panel nagaan of uw website(s) van deze server(s)/cluster(s)/segment(en) gebruik maakt/maken.

Update 00:00 – We zijn begonnen met het vervangen van de rackswitch.
Update 00:13 – De switch is zonder downtime vervangen.

In de nacht van woendag 26 maart op donderdag 27 maart van 0:00 tot 01:00 uur zullen we een rackswitch in ons netwerk vervangen. Hiermee brengen we de redundantie terug in het betreffende rack. We verwachten geen downtime. 

U kunt via het Service Panel nagaan of uw website(s) van deze server(s)/cluster(s)/segment(en) gebruik maakt/maken.

Vannacht (van donderdag 20 tot vrijdag 21 maart) voeren we spoedonderhoud uit aan ons netwerk. Na de netwerkproblemen van afgelopen dinsdag brengen we hiermee de stabiliteit terug in ons netwerk.

Update 3:37 uur: Alles is online en werkt naar behoren. We houden het nog even in de gaten.

Update 3:4 uur: We hebben op dit moment problemen met 1 chassis. Alle overige chassis zijn online.

Update 2:16 uur: De alternatieve configuratie werkt tot nu toe uitstekend. We zijn nog enige tijd bezig, maar verwachten voor 3:00 klaar te zijn.

Update 1:35 uur: De switches gedragen zich niet volledig zoals zou moeten, dus we zijn nu bezig met een alternatieve configuratie.

Update 0:4 uur: We beginnen aan het onderhoud.

Vannacht (van donderdag 20 tot vrijdag 21 maart) voeren we spoedonderhoud uit aan ons netwerk. Na de netwerkproblemen van afgelopen dinsdag brengen we hiermee de stabiliteit terug in ons netwerk.

Update 4:01:  Het onderhoud is afgerond.
Update 3:37: Alles is online en werkt naar behoren. We houden het nog even in de gaten.
Update 3:04: We hebben op dit moment problemen met 1 chassis. Alle overige chassis zijn online. Hierdoor zijn een aantal diensten in segement 1, waaronder Redis cache onbereikbaar voor een deel van de websites.
Update 2:16: De alternatieve configuratie werkt tot nu toe uitstekend. We zijn nog enige tijd bezig, maar verwachten voor 3:00 klaar te zijn.
Update 1:35: De switches gedragen zich niet volledig zoals zou moeten, dus we zijn nu bezig met een alternatieve configuratie.
Update 0:04: We beginnen aan het onderhoud.

Vannacht (van donderdag 20 tot vrijdag 21 maart) voeren we spoedonderhoud uit aan ons netwerk. Na de netwerkproblemen van afgelopen dinsdag brengen we hiermee de stabiliteit terug in ons netwerk.

Zojuist ondervonden we door netwerkproblemen een korte storing van circa 30 seconde aan de cluster en databases (db28, db52, c142, db54, c145, c121, c147 en redis) van segment 2. De mail kan hierdoor ook wat vertraagd doorkomen.

Inmiddels zou alles weer naar behoren moeten werken. Onze techneuten zitten er bovenop. Mocht u nog hinder ondervinden, neemt u dan gerust contact met ons op.

U kunt via het Service Panel nagaan of uw website(s) van deze server(s)/cluster(s)/segment(en) gebruik maakt/maken.

Update 19:33 uur:

Vermoedelijk heeft de verstoring op het netwerk gezorgd dat de load balancers in segment 1 beide proberen het verkeer te runnen. We hebben er eentje uitgezet, waardoor alles normaal zou moeten werken.

Update 19:30 uur:

Het lijkt alsof sommige Magento appservers in segment 1 niet voor alle bezoekers goed werken. We werken aan een oplossing.

Update 19:47 uur:

We draaien op secundaire loadbalancer in Segment 1. De primaire staat netjes standby.

Update 19:33 uur:

Vermoedelijk heeft de verstoring op het netwerk gezorgd dat de load balancers in segment 1 beide proberen het verkeer te runnen. We hebben er eentje uitgezet, waardoor alle Magento appservers weer goed werken.

Update 19:30 uur:

Het lijkt alsof sommige Magento appservers in segment 1 niet voor alle bezoekers goed werken. We werken aan een oplossing.