Er worden snapshots gemaakt van de mail. In de serversoftware blijkt echter een bug te zitten, waardoor de load op de servers flink is toegenomen. Hierdoor zijn de afgelopen minuten onze mailservers verminderd bereikbaar geweest.

In de nacht van woensdag 18 op donderdag 19 mei zullen wij tussen 00:00 en 01:00 een periodieke test uitvoeren door op onze loadbalancers een failover uit te laten voeren. Hierdoor zullen de websites voor enkele seconden niet bereikbaar zijn. Na afloop van het onderhoud zullen alle websites weer zoals vanouds beschikbaar zijn.

Update 01:41: De geplande failover test is niet uitgevoerd in verband met andere kleine verstoringen op ons platform.

Deze ochtend hebben we te maken gehad met enkele korte onderbrekingen op de maildiensten. Om dit op te lossen, hebben wij de webmail, IMAP en POP servers offline gehaald en weer online gebracht. Er is geen mail verloren gegaan.

Excuses voor het ongemak. We zullen maatregelen treffen om te zorgen dat dit in de toekomst sneller kan worden opgelost.

De tijdslijn van de storing:

Update 14:20: Er blijkt een probleem met de achterliggende storage te zijn. Wij zijn bezig het probleem op te lossen. Zoals aangegeven, zal er geen mail verloren gaan.

Update 14:35: Een engineer van Byte is onderweg naar het Datacentrum. Vanuit het Byte hoofdkantoor wordt tegelijkertijd onderzocht waar het probleem precies ligt.

Update 14:50: We denken rond 15.15 het mail probleem te hebben opgelost.

Update 15.15: De storing is gevonden. We trekken echter eerst nog een backup voor de zekerheid, om er zeker van te zijn dat we geen dataverlies kunnen krijgen.
Hierna zullen we de mail weer aan kunnen schakelen. Om 15.35 moeten we weer volledig operationeel zijn.
Update 15:25: De cronjobs op Magento zouden het weer moeten doen.
Update 15:39 De mail is weer online. We zijn geen mail verloren. De mailtjes die aan Byte klanten zijn verstuurd in de tussentijd worden nog wel verwerkt. Dit kan enige tijd duren. Op dit moment wordt de achterstand ingehaald.
Update 15:40 Webmail is nog even niet beschikbaar totdat de systemen tot rust komen.
Update: 15:51: De webmail wordt aan gezet. De achterstand (Mail queue) is ingehaald. We gaan nog een disk vervangen in ons storage cluster voor mail. Dit heeft normaal gesproken geen effect op onze maildienstverlening.

Wegens een corrupt SSL certificaat zijn de websites op cluster 1 – 5 minuten slecht bereikbaar geweest.

Update 11:55

Alle sites zijn weer online. We werken aan een structurele oplossing waardoor een dergelijke storing niet meer kan voorkomen.

De structurele oplossing zal binnen 2 uur worden geimplementeerd. Tot deze structurele fix zal de storing ook niet meer voorkomen.

Update 01:10: Het geplande onderhoud is afgerond. Gebleken is dat er geen impact geweest is voor onze klanten tijdens dit onderhoud.

Update 18u: De performance is momenteel weer normaal, dus alle websites zijn weer probleemloos en snel bereikbaar. We zullen de oorzaken deze avond nog uitgebreid onderzoeken om zeker te weten dat we een structurele oplossing bieden voor het probleem.

Oorspronkelijke bericht: Websites kunnen bij vlagen traag zijn door data pieken en “packetloss” op ons netwerk. Na onderzoek blijkt ons netwerk op dit moment niet optimaal geschakeld te zijn. Hierdoor kunnen er op dit moment soms pieken optreden, omdat we tegen de maximum capaciteit van onze netwerk infrastructuur aanlopen.

Na uitgebreid onderzoek lijkt het erop dat ons netwerk op dit moment niet optimaal geschakeld is. Om de netwerk infrastructuur efficienter te laten werken zullen we vanavond een van onze kasten aan een andere switch hangen. Gevolg hiervan is wel enige seconden tot 5 minuten downtime voor de servers in dit rack.

Update: 01:18: Deel 1 van het onderhoud afgerond. Kasten die geen optimaal pad hadden zijn opnieuw aangesloten. Geen packetloss waargenomen tijdens het omprikken.

Update 18u: De performance is momenteel weer normaal, dus alle websites zijn weer probleemloos en snel bereikbaar. We zullen de oorzaken deze avond nog uitgebreid onderzoeken om zeker te weten dat we een structurele oplossing bieden voor het probleem.

Oorspronkelijke bericht: Websites kunnen bij vlagen traag zijn door data pieken en “packetloss” op ons netwerk. Na onderzoek blijkt ons netwerk op dit moment niet optimaal geschakeld te zijn. Hierdoor kunnen er op dit moment soms pieken optreden, omdat we tegen de maximum capaciteit van onze netwerk infrastructuur aanlopen.

Na uitgebreid onderzoek lijkt het erop dat ons netwerk op dit moment niet optimaal geschakeld is. Om de netwerk infrastructuur efficienter te laten werken zullen we vanavond een van onze kasten aan een andere switch hangen. Gevolg hiervan is wel enige seconden tot 5 minuten downtime voor de servers in dit rack.