Aankomende donderdag 23 september gaan wij de PHP versie op cluster 4 updaten naar de laatste versies. Momenteel bieden wij versies 5.2.12 en 5.3.2 aan. Omdat hier een aantal beveiligingsgaten in zitten, hebben wij besloten om deze te upgraden naar versies 5.2.14 en 5.3.3.

Update 19:53: inmiddels is mysql op database 17 weer up en werken alle sites die van dit cluster gebruik maken weer naar behoren. De storing heeft ongeveer 4 minuten geduurd. De storing werd veroorzaakt door een foutieve configuratieoptie van mysql, waardoor mysql meer geheugen ging gebruiken dan de server beschikbaar had. Dit zou tot ernstige problemen kunnen leiden.

Helaas moest mysql opnieuw gestart worden om de instelling te veranderen. Omdat de situatie steeds erger werd, is besloten om mysql direct opnieuw te starten. Het afsluiten van mysql duurt echter enkele minuten, omdat er nog veel cache naar disk geschreven moet worden. Onze techneuten waren een oplossing voor de lange afsluittijd aan het onderzoeken en ontwikkelen. Dit zal komende week extra prioriteit krijgen.

Onze excuses voor de overlast.

We hebben momenteel een kleine storing aan mysql op databasecluster 17. Onze techneuten werken aan een oplossing. Verwachte oplostijd is 10 minuten.

De afgelopen weken hebben we (vermoedelijk) door bugs in MySQL 5.1 vaker korte hickups op ons MySQL cluster (DB16) gehad dan toelaatbaar. Een mogelijke oorzaak is ook het feit dat dit koppel (primaire server en replicator) de allernieuwste hardware heeft.

Enkele minuten geleden hebben zich enkele korte storingen voorgedaan aan cluster 10. Het kan zijn dat hierdoor enkele Magentosites kort verminderd bereikbaar waren. Inmiddels lijkt het probleem zichzelf weer hersteld te hebben.

De oorzaak van deze storing ligt bij de Magento Appserver, die tijdelijke geen nieuwe verbindingen kan aannemen. Hierdoor concludeerde de loadbalancer dat de Appserver niet bereikbaar was.

Onze technici zijn druk bezig om te onderzoeken waardoor er tijdelijk geen nieuwe verbindingen aangenomen konden worden.

Update, 21:45 uur: in verband met aanhoudende problemen is het onderhoud vervroegd uitgevoerd. Het onderhoud is zonder problemen verlopen, en databases zijn slechts enkele seconden readonly geweest. Uw bezoekers hebben er zo goed als niets van gemerkt!

Op 6 September vind er tussen 23:00 en 00:00 spoedonderhoud plaats aan database server #16. Dit omdat er nogsteeds stabiliteit problemen zijn met deze server. Wij zullen in dit onderhoudsvenster overstappen naar de replicatie server, welke een speciale versie (Debug versie) van MySQL draait waarmee hopelijk de exacte oorzaak van het probleem mee gevonden kan worden.

Omdat wij onze database servers redundant uitvoeren kunnen wij deze overstap maken zonder downtime of dataverlies. Het kan wel dat de databases enkele seconden read-only staan, maar dit zal voor de meeste bezoekers geen problemen opleveren.

Op 6 September vind er tussen 23:00 en 00:00 spoedonderhoud plaats aan database server #16. Dit omdat er nogsteeds stabiliteit problemen zijn met deze server. Wij zullen in dit onderhoudsvenster overstappen naar de replicatie server, welke een speciale versie (Debug versie) van MySQL draait waarmee hopelijk de exacte oorzaak van het probleem mee gevonden kan worden.

Omdat wij onze database servers redundant uitvoeren kunnen wij deze overstap maken zonder downtime of dataverlies. Het kan wel dat de databases enkele seconden read-only staan, maar dit zal voor de meeste bezoekers geen problemen opleveren.

Helaas is mysql op databasecluster 16 zojuist enige tijd onbereikbaar geweest. Het probleem heeft zichzelf binnen twee minuten opgelost. Bezoekers van uw site kunnen hier alleen iets van gemerkt hebben indien de databases van uw site op database16 staan, dit kunt u nakijken op het Service Panel.

Onze techneuten onderzoeken de oorzaak. Mogelijk zullen we vanavond mysql even moeten herstarten om extra informatie te verzamelen. We zullen dit in een noodonderhoudsvenster doen, de aankondiging hiervan volgt nog via onze site.

Aankomende donderdag 9 september gaan wij de PHP versie op cluster 4 updaten naar de laatste versies. Momenteel bieden wij versies 5.2.12 en 5.3.2 aan. Omdat hier een aantal beveiligingsgaten in zitten, hebben wij besloten om deze te upgraden naar versies 5.2.14 en 5.3.3.

Update 23:15: het onderhoud is succesvol afgerond. Dankzij de replicatietechniek is er geen merkbare downtime geweest. We hopen na dit onderhoud in elk geval uit te kunnen sluiten dat de recente problemen door defecte hardware veroorzaakt worden.

Update 23:15: het onderhoud is succesvol afgerond. Dankzij de replicatietechniek is er geen merkbare downtime geweest. We hopen na dit onderhoud in elk geval uit te kunnen sluiten dat de recente problemen door defecte hardware veroorzaakt worden.

Update 17:00: Wij hebben voor vanavond spoedonderhoud gepland staan. Om 23:00 zullen wij overschakelen naar de replicator, om hardware problemen op de hoofdserver uit te kunnen sluiten. Dankzij onze geavanceerde database setup kunnen wij deze overstap zonder downtime of dataverlies maken.

Vanochtend rond 10:50 ondervonden wij helaas wederom een korte storing aan databaseserver 16. Sites die gebruik maken van deze databaseserver hebben hiervan kort hinder kunnen ondervinden.

Het lijkt er helaas op dat het probleem wat zich eerder voortdeed niet is opgelost na de downgrade van MySQL. Wij denken het probleem te hebben gevonden, en zullen hier vanmiddag meer over communiceren.

Onze excuses voor het ongemak.