Naar aanleiding van de problemen rondom de mail-dienstverlening van gister, hebben we deze week noodonderhoud ingepland. Dit onderhoud moet ervoor zorgen dat deze problemen niet meer optreden.

Update 17:55 uur: de reboot is succesvol verlopen; de mail is ongeveer 10 minuten offline geweest. Na het initiele F5-effect lijkt de rust momenteel wedergekeerd. We houden een vinger aan de pols en bekijken hoe we op korte termijn de mail-dienstverlening kunnen verbeteren.

Update 17:30 uur: De problemen schijnen helaas toch niet voor alle klanten opgelost te zijn. De mailservers zijn weliswaar druk, maar het probleem blijkt veroorzaakt te worden door de fileserver. Wat hiervan precies de oorzaak is, is nog onbekend. Dit wordt nog volop onderzocht door onze technici.

Wij gaan zo direct de fileserver rebooten, om de huidige problemen op te lossen.

Update 11:40 uur: De mailservers zijn inmiddels weer rustig. Om de load op de servers te beperken, hebben we tijdelijk het aantal connecties per IP naar beneden geschroefd. DIt betekent dat klanten die met veel medewerkers gelijktijdig gebruik maken van onze mailservers een bericht kunnen hebben gekregen dat zij geen verbinding konden maken met de mailserver.

We adviseren gebruikers om het aantal connecties in de mailclient naar maximaal 3 connecties aan te passen. Voor Thunderbird vindt u deze instelling hier:

Tools -> Account Settings -> Server Settings -> Advanced -> IMAP -> Maximum number of server connections to cache. Deze waarde naar 3 zetten i.p.v. 5.

Onze technici blijven vandaag onderzoeken wat de oorzaak was van de drukte, in de hoop hier een meer structerele oplossing voor te vinden.

Oorspronkelijk bericht: Op dit moment zijn onze mailservers erg traag. Mail wordt wel verzonden en verstuurd, maar trager dan normaal. Het is nog onduidelijk waar de drukte door veroorzaakt wordt. Onze technici zijn hard aan het zoeken naar een oorzaak. Daarnaast probeert men maatregelen te nemen om de load op de servers te verminderen.

Onze excuses voor de overlast.

Update 11:40 uur: De mailservers zijn inmiddels weer rustig. Om de load op de servers te beperken, hebben we tijdelijk het aantal connecties per IP naar beneden geschroefd. DIt betekent dat klanten die met veel medewerkers gelijktijdig gebruik maken van onze mailservers een bericht kunnen hebben gekregen dat zij geen verbinding konden maken met de mailserver.

We adviseren gebruikers om het aantal connecties in de mailclient naar maximaal 3 connecties aan te passen. Voor Thunderbird vindt u deze instelling hier:

Tools -> Account Settings -> Server Settings -> Advanced -> IMAP -> Maximum number of server connections to cache. Deze waarde naar 3 zetten i.p.v. 5.

Onze technici blijven vandaag onderzoeken wat de oorzaak was van de drukte, in de hoop hier een meer structerele oplossing voor te vinden.

Oorspronkelijk bericht: Op dit moment zijn onze mailservers erg traag. Mail wordt wel verzonden en verstuurd, maar trager dan normaal. Het is nog onduidelijk waar de drukte door veroorzaakt wordt. Onze technici zijn hard aan het zoeken naar een oorzaak. Daarnaast probeert men maatregelen te nemen om de load op de servers te verminderen.

Onze excuses voor de overlast.

Meerdere shellservers van Magento clusters zijn 5 tot 10 minuten onbereikbaar geweest.

De shellservers zijn gevirtualiseerd. Helaas ging de hostserver om onbekende reden offline.

Deze server is gereboot en op dit moment zijn de shellservers bezig met opstarten.

In de nacht van dinsdag 4 op woensdag 5 oktober zullen wij tussen 00:00 en 01:00 een periodieke test uitvoeren door op onze loadbalancers een failover uit te laten voeren. Hierdoor zullen de websites voor enkele seconden niet bereikbaar zijn. Na afloop van het onderhoud zullen alle websites weer zoals vanouds beschikbaar zijn.

[Update 07:45 uur] Na een reboot van de machine lijkt het probleem te zijn verdwenen. De precieze oorzaak proberen we nog te achterhalen.

Wat voor storing was er gaande?

Segment 2 (clusters 36, 48, 51, 53, 54 en 55) is 20 tot 25 seconden onbereikbaar geweest.

Wat is de oorzaak?

Op verzoek van Byte wijzigde XS4ALL de routering van 46.21.224.0/20 zodat deze IP-range gesegmenteerd kan worden. Een risico & impactanalyze door zowel Byte als XS4ALL concludeerde dat er geen impact zou zijn.

Helaas flapte er een aantal BGP sessies en moest ‘het internet’ op de hoogte gebracht worden van de wijziging. Na 20 tot 25 seconden was dit gebeurd en was Segment 2 weer beschikbaar.

Update 14 september 11:09: Na onderzoek is gebleken dat PHP een functionele wijziging heeft doorgevoerd in de nieuwe PHP 5.3.8. Omdat functionele wijzigingen niet zouden mogen doorgevoerd in minor releases en PHP dit toch heeft gedaan, hebben we besloten de PHP 5.3.8 upgrade uit te stellen en klanten eerst op de hoogte te gaan stellen van deze functionele wijziging. Voor een kleine groep klanten zal namelijk gelden dat zij hun code aan moeten passen om hun website onder php 5.3.8 werkend te krijgen. Zij zullen tijd krijgen om hun website aanpassen. We verwachten volgende week of de week erop de upgrade alsnog uit te kunnen voeren.

Update 13 september 13:00: Gebleken is dat in bepaalde gevallen het gedrag van PHP afwijkt. We hebben de upgrade terug gedraaid en zijn momenteel aan het testen wat er precies mis gaat.

Update 2 september: Er is wat uitloop; C1 is geupgrade. De overige clusters worden vandaag voorzien van de upgrade. Voor klanten is er natuurlijk geen impact.

Donderdag 1 september zal tussen 9.00 en 23.59 uur Apache worden geupdate op onze webservers. Dit is een security update. Om de veilgiheid van onze hostingomgeving te waarborgen voeren wij deze update door. Dankzij de geclusterde setup van Byte kunnen wij dit onderhoud op onze PHP clusters zonder downtime uitvoeren. Deze update wordt overdag uitgevoerd. De Magento clusters zullen tussen 23.00 en 23.59 worden geupdate waarbij een downtime van ongeveer 5 seconden per Magento cluster wordt verwacht.