Donderdag 1 september zal tussen 9.00 en 23.59 uur Apache worden geupdate op onze webservers. Dit is een security update. Om de veilgiheid van onze hostingomgeving te waarborgen voeren wij deze update door. Dankzij de geclusterde setup van Byte kunnen wij dit onderhoud op onze PHP clusters zonder downtime uitvoeren. Deze update wordt overdag uitgevoerd. De Magento clusters zullen tussen 23.00 en 23.59 worden geupdate waarbij een downtime van ongeveer 5 seconden per Magento cluster wordt verwacht.

Tussen 7 en 9 september zullen we een upgrade uitvoeren van PHP aan onze clusters. De nieuwe versie wordt PHP 5.3.8. U hoeft hiervoor niets te doen en de wijziging heeft weinig tot geen impact op de werking uw website.

Op 23 augusutus 2011 heeft php.net de nieuwe versie van PHP (PHP 5.3.8) uitgebracht. Dit is een bug-fix release. Hierbij zijn er meer dan 100 bugfixes (5.3.7 & 5.3.8) doorgevoerd om PHP stabieler en veiliger te maken.

De versie die Byte gebruikt is de Debian versie van PHP.

Update 11.57 uur: Alles werkt inmiddels weer naar behoren. De tweede FTP server heeft alle taken overgenomen. FTP server 1 hebben we uit het cluster moeten halen wegens problemen. Later vandaag gaan wij weer een tweede FTP server toevoegen aan het cluster om weer volledig redundant te zijn.

Update 11.45 uur: De server is inmiddels weer up, maar lijkt nog niet 100% te functioneren. Wij zijn hier nog hard mee bezig. De FTP servers hebben geen enkele invloed op het functioneren van uw website, deze draait gewoon probleemloos verder.

Ter info: Het kan zijn dat klanten vanochtend ook niet konden verbinden met de FTP server. Een van onze servers is vanochtend gereboot, waardoor de dienst enkele seconden uit de lucht is geweest.

Oorspronkelijk bericht: Een van onze FTP servers werkt op dit moment niet naar behoren. Wij zijn dit zo snel mogelijk aan het oplossen. Wanneer u geen connectie kunt krijgen, dan kunt u de verbinding opnieuw opstarten. Hierna zou het weer moeten werken, aangezien de server dubbel is uitgevoerd.

Update 21:00: De DB servers zullen zo omgeschakeld gaan worden naar de secundaire omgeving. Verwacht per DBcluster maximaal 20 seconden overlast.

Update 00:01: Begin van het stroomonderhoud. De kast wordt uitgeschakeld.

Update 00:30: Het onderhoud is afgerond; alle servers zijn weer online.

Onderhoud in de nacht van 24 op 25 augustus 0:01 – 0:45 uur: het vervangen van een aantal XS4all powerbars.

In een van onze racks in het datacenter valt op dit moment van 1 van de 2 stroom feeds de verbruikte stroom niet netjes uit te lezen. Omdat we voor een goede werking van onze omgeving op deze cijfers moeten kunnen vertrouwen hebben we besloten om de powerbars die we huren van XS4all in dit rack te vervangen. Hiervoor zullen we een aantal machines downtime geven. Dit heeft voor sommige klanten impact op de dienstverlening.

Door een menselijke fout bij het aanpassen van een de centrale configuratie files waren websites voor een zeer korte tijd niet bereikbaar. Het probleem is reeds opgelost. De downtime was maximaal 3 minuten.

Oorzaak

Bij het geautomatiseerd doorvoeren van een standaard wijziging naar het cluster platform werden permissies te strak afgesteld, iets wat bij het handmatig doorvoeren van deze aanpassin naar een enkele node niet gebeurde.

Wij gaan nog onderzoeken waarom het bij het automatisch doorvoeren niet goed ging en zullen hier uiteraard onze standaard procedures voor aanpassen om te voorkomen dat dit nog een keer kan gebeuren.

Onderhoud in de nacht van 24 op 25 augustus 0:01 – 0:45 uur: het vervangen van een aantal XS4all powerbars.

In een van onze racks in het datacenter valt op dit moment van 1 van de 2 stroom feeds de verbruikte stroom niet netjes uit te lezen. Omdat we voor een goede werking van onze omgeving op deze cijfers moeten kunnen vertrouwen hebben we besloten om de powerbars die we huren van XS4all in dit rack te vervangen. Hiervoor zullen we een aantal machines downtime geven. Dit heeft voor sommige klanten impact op de dienstverlening.

Onderhoud RRP Proxy op zondag 21 augustus 08.00 – 12.00 uur. Op dit tijdstip pleegt de onze leverancier van buitenlandse domeinnamen (niet .nl domeinen) onderhoud aan hun systemen. Hierdoor is het tussen 08.00 – 12.00 uur niet mogelijk om buitenlandse en generieke (zoals .com) domeinnamen te registreren en te verhuizen. U kunt wel een bestelling plaatsen, maar deze zal dan na het onderhoud in behandeling worden genomen.

De Byte omgeving is ongeveer 1 minuut niet bereikbaar geweest. Hierdoor waren ook sommige websites van klanten (alleen in cluster 1,2 & 4) ongeveer 1 minuut niet bereikbaar. Dit is door een menselijke fout aan onze kant veroorzaakt. Excuses voor het eventuele ongemak.

We zullen onze procedures aanscherpen zodat dit in de toekomst niet meer zal kunnen gebeuren.

Uit onderzoek naar de recente crashende database servers blijkt er een bug in het systeem te zitten. Om dit probleem op te lossen gaan wij vannacht een aantal databaseclusters rebooten.
Update 00:01: Het onderhoud is begonnen.
Update 01:30: Het onderhoud is met succes afgerond.

Uit onderzoek naar de recente crashende database servers blijkt er een bug in het systeem te zitten. Om dit probleem op te lossen gaan wij vannacht een aantal databaseclusters rebooten