Update vrijdag 10:45 uur:
Van XS4ALL hebben we begrepen dat de oorzaak van de storing een geheugenprobleem op één van de core-routers was. Hierdoor viel het verkeer voor een groot deel weg. De vervanging van deze core-router stond bij XS4ALL al op de planning. Wij gaan er bij XS4ALL op aandringen om deze vervanging met spoed uit te voeren. 

Update 17:23 uur: XS4ALL heeft inmiddels bevestigd dat de storing is opgelost. Morgen zullen wij een debrief plaatsen van de storing, zodra we alle informatie van XS4ALL hebben ontvangen.


Update 17:18: We zien inmiddels dat er geen data meer verloren gaat, de storing is waarschijnlijk opgelost. We wachten nog op een bevestiging van XS4ALL.

Update 17:05: Alle diensten lijken inmiddels weer bereikbaar. Wel zijn veel systemen nog traag.

Update 17:00: Het lijkt erop dat we vanaf alle locaties weer langzaam weer bereikbaar zijn. De problemen zijn echter nog niet geheel opgelost.

Update 16:58: Op dit moment kunnen wij onze sites weer bereiken vanaf ons eigen netwerk. Er wordt nog altijd gezocht naar een oorzaak.

Update 16:56: XS4ALL heeft een storing. Wij kunnen geen data naar het datacentrum
versturen waardoor onze sites onbereikbaar zijn. Bytenoc ook moeilijk.

Oorspronkelijk bericht: We ondervinden momenteel een netwerkstoring bij XS4ALL. We onderzoeken nog wat er aan de hand is en staan in direct contact met hun technische dienst.

Vanwege een lek in OpenSSL (de internet standaardsoftware voor beveiligde verbindingen) voeren we vandaag, dinsdag 8 april, spoedonderhoud uit aan ons gehele platform.

Update 11:43 uur: Inmiddels zijn ook de shellservers in segment 1 geüpdatet. Als je nu inlogt via SSH, dien je de fingerprint te checken en te accepteren. 

Update 11:40 uur: De hostkeys van de shellservers in segment 2 zijn inmiddels vervangen.
Inmiddels hebben we ook een FAQ online.

Update 11:03 uur: Inmiddels zijn alle apache webservers herstart. 

Vanwege een lek in OpenSSL (de internet standaardsoftware voor beveiligde verbindingen) voeren we vandaag, dinsdag 8 april, preventief spoedonderhoud uit aan ons gehele platform.

Update 11:58 uur: Het lek is gedicht, waardoor sites geen risico’s meer lopen.

Update 11:43 uur: Inmiddels zijn ook de shellservers in segment 1 geüpdatet. Als je nu inlogt via SSH, dien je de fingerprint te checken en te accepteren.

Update 11:40 uur: De hostkeys van de shellservers in segment 2 zijn inmiddels vervangen.
Inmiddels hebben we ook een FAQ online.

Update 11:03 uur: Inmiddels zijn alle apache webservers herstart. 

Vanwege een lek in OpenSSL (de internet standaardsoftware voor beveiligde verbindingen) voeren we vandaag, dinsdag 8 april, preventief spoedonderhoud uit aan ons gehele platform.

Op dit moment ervaren we connectiviteitsproblemen binnen segment 2, waardoor websites en mailservers niet goed bereikbaar zijn.

U kunt via het Service Panel nagaan of uw website(s) van dit segment gebruik maakt/maken.

Update 12:44 uur: Webmail bleek nog niet te werken, dit hebben we inmiddels ook opgelost.

Update 12:18 uur: Alle sites in segment 2 zijn weer bereikbaar, net zoals de mail. Uiteraard zitten we er nog boven op en onderzoeken de oorzaak.

Update 12:44 uur: Webmail bleek nog niet te werken, dit hebben we inmiddels ook opgelost.

Update 12:18 uur: Alle sites in segment 2 zijn weer bereikbaar, net zoals de mail. Uiteraard zitten we er nog boven op en onderzoeken de oorzaak.

Update 12:16 uur: De problemen lijken te verminderen. We houden het nog scherp in de gaten.

Update 12:13 uur: Er blijkt een switch kapot te zijn binnen ons netwerk. Er waren al een aantal techies in ons datacentrum, we hopen daardoor snel(ler) te kunnen schakelen.

Op dit moment ervaren we connectiviteitsproblemen binnen segment 2, waardoor websites en mailservers niet goed bereikbaar zijn.

Helaas blijkt dat voor een aantal sites in segment 2 de laatste twee databasebackups niet zijn gemaakt. Het kan zijn dat je in je Service Panel geen backup kan opvragen van 3 of 6u geleden (SLA) 24 of 48u geleden (niet SLA). We werken er hard aan om de databasebackups komende nacht weer bijgewerkt te hebben, zodat er voor elke site een recente backup beschikbaar is.
Uiteraard is onze live databasereplicatie wel beschikbaar, mochten
er databaseproblemen zijn, dan schakelen we over de deze gereedstaande
replicator.

Update 15:07 uur: We zijn aangekomen bij de volgende stap: op dit moment hebben we de scripts om back-ups te maken, aangepast. Zo hopen we weer van alle sites back-ups te kunnen gaan maken. We monitoren hoe dit uitpakt! Daarnaast loopt ook nog het inrichten van een parallelle server, echter kost dit meer tijd.

Update 12:55 uur: Onze aanpak lijkt resultaat op te leveren. Na de lunch starten we het maken van databaseback-ups om zo weer van alle sites recente back-ups beschikbaar te hebben. Uiteraard rapporteren we vanmiddag nog over de voortgang!

Update 10:08 uur: We hebben nu een aantal back-up diensten verplaatst naar andere fileservers waardoor we ruimte kunnen vrijmaken op de databaseback-upserver, waardoor we de back-ups weer moeten kunnen bijwerken. Zodra de ruimte vrij is, kunnen onze techneuten een inschatting maken van de oplostijd. Parallel hieraan richten we ook een extra server in, mocht onze eerste oplossing niet (voldoende) werken.

Update 1 april 9:30 uur: Ondanks onze inspanningen is het niet gelukt om de back-ups van de databases afgelopen nacht bij te werken. Onze techies onderzoek de oorzaak en verschillende mogelijke oplossingen. 

31 maart 17:21 uur: Helaas blijkt dat voor een aantal sites in segment 2 de laatste twee databaseback-ups niet zijn gemaakt. Het kan zijn dat je in je Service Panel geen back-up kan opvragen van 3 of 6u geleden (SLA) 24 of 48u geleden (niet SLA). We werken er hard aan om de databaseback-ups komende nacht weer bijgewerkt te hebben, zodat er voor elke site een recente back-up beschikbaar is.

Uiteraard is onze live databasereplicatie wel beschikbaar, mochten
er databaseproblemen zijn, dan schakelen we over de deze gereedstaande
replicator.