Storingsdebrief:
Rond 11.00 crashte het primaire filesysteem (fileserver 4) van cluster 1. We zijn binnen enkele minuten overgestapt op de secundaire fileserver van dat cluster (fileserver 8). Daarna hebben we ook de FTP toegang tot cluster 1 uitgeschakeld. Tijdelijk hebben de webservers in cluster 1 met de bestanden van de backup van vannacht gedraaid.

Update 12:03:We zijn weer teruggeschakeld op de primaire fileserver. Er wordt nu gecontroleerd of alle data weer synchroon loopt. Wanneer dit het geval is, dan worden FTP en SSH weer ingeschakeld.

Update 11:45:Wij hebben nu ook SSH voor cluster 1 uitgeschakeld. Dit om het aanpassen van bestanden op de secundaire fileserver te voorkomen. Wij proberen hiermee zo veel mogelijk te voorkomen dat er dataloss optreedt.

Update 11:25: Onze technici zijn op dit moment in het datacentrum om een noodonderhoud te doen aan de primaire fileserver (fileserver 4). Alle sites draaien nu op de backup fileserver (fileserver 8). Wij schatten dat dit onderhoud ongeveer 30 min in beslag gaat nemen. Zodra dit onderhoud succesvol is afgerond, kijken we of we direct terug kunnen schakelen naar de primaire server, of dat wij dit beter later kunnen doen. Daarna zullen we ook FTP en SSH voor cluster 1 weer activeren. Nog even geduld. Onze excuses voor het ongemak.

Update 11:18: FTP voor alle clusters is weer ingeschakeld, behalve voor cluster 1. Omdat we zo snel mogelijk willen terugschakelen naar de primaire server is het van belang zo min mogelijk wijzigingen te hebben.

Er was zojuist sprake van een korte storing aan fileserver 4. Hierdoor hebben alle sites op cluster 1 er kort uitgelegen. De server is inmiddels weer up. We zijn op dit moment aan het onderzoeken wat de oorzaak hiervan was. Daarnaast gaan we uitzoeken hoe wij de kans op herhaling kunnen voorkomen.

Meer info volgt nog.

Update 11:05: We zijn overgestapt op backupfileserver van cluster 1. Deze heeft minder goede prestaties. We verwachten binnen een uur terug te kunnen stappen naar de hoofdfileserver. FTP op cluster 1 is tijdelijk uitgeschakeld.

Er is waarschijnlijk sprake van een hardware storing aan fileserver 4. Hierdoor zijn alle sites op cluster 1 down. We zijn op dit moment aan het onderzoeken wat de oorzaak hiervan is. Daarnaast gaan we uitzoeken hoe wij de kans op herhaling kunnen voorkomen.

Meer info volgt nog.

Inmiddels zijn alle bezoekersstatistieken weer helemaal up-to-date. Afgelopen week had de server die deze statistieken bijhoudt een achterstand opgelopen. Door de enorme hoeveelheid data heeft het een aantal dagen gekost om weer helemaal bij te lopen. Inmiddels is dit het geval en zijn de statistieken weer actueel.

Vorige week zijn niet alle bezoekersstatistieken gegenereerd. Hierdoor heeft de server die deze statistieken bijhoudt achterstand opgelopen. Door de enorme hoeveelheid data die deze machine te verwerken heeft, kost het nog tot en met aankomende woensdag om weer helemaal bij te lopen. Wij kunnen dit proces helaas niet versnellen. Onze excuses voor het ongemak.

In de ochtend van 15 juni zullen we de webmail updaten naar versie 0.5.3.

update 09:00: Het onderhoud is succesvol afgerond

Op dit moment ondervinden wij problemen met een aantal magento SSH servers. We zijn aan het onderzoeken wat het probleeem is.

Update: We zijn erachter wat het probleem is. De SSH servers worden nu opnieuw opgestart en alles zou daarna weer normaal moeten werken.

Update 5:30: Op dit moment werken alle SSH servers weer. We zullen hier morgen meer informatie publiceren over de oorzaak.

We willen de SSH servers graag snel houden. SSH servers presteren beter met meer geheugen. Daarom gaan we om 19.00 de SSH servers voor Magento, 1 voor 1 rebooten en voorzien van meer intern geheugen. Aangezien het virtuele shell servers zijn kan dit met relatief weinig downtime. Uw website blijft normaal draaien en ondervindt geen last van deze reboot.

Een van onze backupmachines ondervindt problemen. Machine loopt weer, maar oorzaak van verstoring is niet duidelijk. We gaan deze machine verder onderzoeken, maar ook tijdelijk minder taken laten doen.

Om de belasting op dit systeem te verkleinen, worden logbestanden tijdelijk niet centraal vergaard. De logs worden in de loop van de week weer verwerkt. Hierdoor zijn de statistieken ook pas dinsdag/woensdag beschikbaar. Excuses voor het ongemak.