We hadden net kort (6 minuten) problemen met database 36, hierdoor werkten mogelijk websites die van deze server gebruik maakten niet naar behoren.

Inmiddels is er overgeschakelt op de replicator server van deze database en werkt alles weer.

 In de nacht van 8 op 9 november zullen wij onderhoud uitvoeren aan een aantal Magento clusters. Tijdens dit onderhoud worden de betreffende clusters verhuisd van Segment 1 naar Segment 2. Deze verhuizing wordt uitgevoerd ter voorbereiding op de komende kerstdrukte, zodat we de serverbelasting kunnen verspreiden over meerdere segmenten.

In de nacht van 8 op 9 november zullen wij onderhoud uitvoeren aan een aantal Magento clusters. Tijdens dit onderhoud worden de betreffende clusters verhuisd van Segment 1 naar Segment 2. Deze verhuizing wordt uitgevoerd ter voorbereiding op de komende kerstdrukte, zodat we de serverbelasting kunnen verspreiden over meerdere segmenten.

Update 16:35: De storing is verholpen, de database werkt weer naar behoren. Alle sites die van deze database gebruik maken, zijn weer online.

Update 16:10: We hebben twee grootverbruikers van database server 2 gevonden. Deze zijn uitgeschakelt en worden overgezet naar een andere database. De rust lijkt weer teruggekeerd. We houden dit nog even goed in de gaten.

We ondervinden op dit moment een storing aan een van onze databaseservers. Deze storing treft alleen sites op segment 2, databaseserver 2. Alle overige databaseservers werken naar behoren.

Onze technici zijn druk bezig de storing te verhelpen.
Onze excuses voor het ongemak!

We ondervinden op dit moment een storing aan een van onze databaseservers. Deze storing treft alleen sites op segment 2, databaseserver 2. Alle overige databaseservers werken naar behoren.

Onze technici zijn druk bezig de storing te verhelpen.
Onze excuses voor het ongemak!

Afgelopen middag bereikte ons via verschillende klanten het bericht dat onze 500 internal server error pagina een genante fout bevatte waardoor XSS mogelijk was.

Inmiddels is dit opgelost. Er zijn bij ons geen gevallen bekend waarbij er misbruik/gebruik is gemaakt van deze fout.

Bedankt voor het doorgeven, excuses voor het eventuele ongemak!

In de nacht van 31 oktober op 1 november stond de migratie van onze inkomende mailservers gepland. Door de mailstoring van de afgelopen week stellen we dit onderhoud uit naar de nacht van 14 op 15 november.

We zijn nu nog bezig met de afwikkeling van de storing. We willen eerst rust creëren op onze mailservers voordat we iets nieuws gaan introduceren. Daarnaast hebben we door storing van de afgelopen dagen geen tijd gehad om de nodige testen uit te voeren om deze migratie naar de nieuwe omgeving zorgvuldig te kunnen uitvoeren.

Update 15:05: De mailproblemen zijn opgelost, alle maildiensten zijn voor iedereen weer beschikbaar. Heb je nog problemen? Stuur dan een mail naar [email protected], voorzien van zoveel mogelijk informatie zoals je e-mailbox, protocol (IMAP, POP, wel/geen SSL) en het tijdstip.
We houden alles nog steeds goed in de gaten.

Maak je gebruik van IMAP? Lees dan onze tips & tricks om je IMAP mailbox schoon te houden.

Update 14:00: De 500 mailboxen van de grootverbruikers zijn op dit moment in verhuizing. Hierna gaan we ze weer gefaseerd inschakelen. De verwachting is dat dit binnen 2 tot 4 uur zal gebeuren. Dan zullen alle maildiensten voor alle klanten weer beschikbaar zijn.

Update 12:30: De mailprobleem lijken te verminderen. We hebben de grootste mailverbruikers gevonden en inmiddels tijdelijk uitgeschakelt. Deze gebruikers worden overgezet op een derde fileserver, waarna ze weer worden ingeschakelt. Dit lijkt effect te hebben, alle maildiensten werken weer en de mailservers worden weer rustiger.
We houden dit uiteraard scherp in de gaten en zitten er nog steeds boven op.

Update 11:15: We komen steeds dichterbij het isoleren van de probleemgebruikers en daarnaast gaat er steeds meer mail over op de tweede fileserver.

Update 10:30: We zijn flink aan het testen om de problemen op te lossen. Hierdoor loopt de load op de mailservers af en toe flink op. Hierdoor loopt de mailserver af en toe vast. We starten deze zo snel mogelijk weer op, zodat we verder kunnen zoeken naar de oorzaak.

We zijn nu de capaciteit aan het vergroten én opsporen van de overgebruikers. Door het overgebruik ontstaat er als het ware een plotselinge ‘file’ op de mailserver, waardoor het mailverkeer vastloopt.

Update 12:30: Er wordt nog steeds hard gewerkt om de mailproblemen de baas te worden. We lijken langzaam enige grip te krijgen. De load op de servers lijkt inmiddels redelijk onder controle.