27 sep

Berichtgeving storing 27 September 2011 en aankomend onderhoud

In navolging van de netwerk storing die eerder vandaag plaatsvond bericht PCextreme het volgende;

Het probleem werd veroorzaakt doordat beide routers op aantal interfaces de tweede gateway tegelijk aannamen. Dit wordt binnen ons netwerk geregeld door VRRP-E, dit protocol gebruiken wij al jaren en is normaal zeer betrouwbaar gebleken.

Om het probleem zo snel mogelijk te verhelpen en het verkeer weer doorgang te laten vinden hebben wij de interfaces op mpr2.ams02.pcextreme.nl uitgezet.

Komende nacht (27 op 28 September 2011) zal PCextreme tussen 0:00 en 5:00 onderhoud uitvoeren. Tijdens dit onderhoud zullen wij de interfaces op mpr2.ams02.pcextreme.nl weer activeren, hierdoor zal de redundancy weer worden hersteld. Gezien het probleem wordt veroorzaakt door een bug in de firmware van mpr1.ams02.pcextreme.nl zullen wij ook de firmware van mpr1.ams02.pcextreme.nl updaten.

Wij verwachten tijdens dit onderhoud geen downtime, er kunnen echter wel korte onderbrekingen ontstaan als gevolg van het overschakelen tussen de routers.

1:00 Het onderhoud loopt niet volgens plan, Door complicaties kreeg het netwerk een split brain. Hierdoor werkte het even niet naar behoren.

4:45 Wij hebben het onderhoud zojuist afgerond, door een aantal complicaties heeft het onderhoud langer geduurd dan in eerste instantie gedacht werd. Ook bestaat de mogelijkheid dat U uw verbindingen naar mpr2.ams02.pcextreme.nl meerdere malen up en down heeft zien gaan.

8:19 Toelichting, na het upgraden van mp1.ams02.pcextreme.nl was het probleem nog niet verholpen. We hebben daarom beide routers weer gedowngraded naar een andere versie.
De logs en waardes geven aan dat alles weer naar behoren functioneert.
Mocht u toch problemen ondervinden schiet dan een ticket in via remote hands in het WSCP.