24 feb

Webhosting : Storing : Storing MySQL storage omgeving (Gesloten)

Op dit moment is er een storing aan de storage omgeving van de MySQL servers. Onze technische dienst pleegt momenteel verder onderzoek naar de oorzaak van de storing.

Onze excuses voor enig ongemak.

12:45: Op beide storage machines treed een kritieke fout op. Onze technische dienst probeert beide machines zo snel mogelijk weer beschikbaar te maken.

14:40: Het lijkt er op dat de data op de SAN’s door nog onbekende reden corrupt is geraakt. Filesystem controles halen ook niets uit. Er wordt nu gestart met het terug halen van backups van 05:00 vanmorgen.

15:15: Op dit moment draaien restores van alle backups nodig. Tevens wordt er ook nog geprobeerd de corrupte data op het SAN te herstellen. Het is op dit moment nog onzeker of dat ook gaat lukken. In het ergste geval zal er worden terug gevallen op de backups van 05:00 vanmorgen.

15:52: Wij hebben de data van sql9 (premium) zonder verlies terug weten te zetten. De server is inmiddels weer online, wij zetten ons volledig in om de overige database servers zo spoedig mogelijk weer beschikbaar te krijgen.

16:36: Het lijkt er op dat alle data in orde is en het niet nodig is om backups van 05:00 vanmorgen terug te zetten. De data veiligheid gaat echter voor en daarom zijn de diensten nog niet online. Er worden eerst nog uitgebreide controles gedraaid om na te gaan of er geen corrupte data meer is. Naar verwachting is de MySQL rond 18:00 weer beschikbaar.

17:40: Inmiddels zijn alle database-servers weer online. De performance is nog niet zoals deze moet zijn, dit komt doordat er nu backup processen draaien evenals controles van alle MySQL tabellen.