Update 24-11 18.58

We hebben een aantal verbeteringen doorgevoerd. Wij hebben het probleem niet meer gezien of kunnen reproduceren. Krijgt u nog een melding “Unknown MySQL server host”, horen we het graag op [email protected] .

Plaatsing 25-11 14.48

Update “Unknown MySQL server host”-probleem

Probleem
Af en toe geven sites een “MySQL unknown host” melding, terwijl zowel de site en de database gewoon up zijn.

Vermoedelijke oorzaak
De machines die verantwoordelijk zijn voor het interne systeem met routeringen (DNS) lijken drukker met geheugen bezig te zijn dan normaal. De hypothese is dat door deze toegenomen drukte een klein deel van de lookups faalt. Hierdoor krijgt de website niet te horen wie zijn databaseserver is.

Oplossingsrichtingen
* Uitbreiden van het gebeugen in deze DNS servers.
* Minder taken op deze servers.
* Verder zoeken naar de oorzaak van de toegenomen belasting.

We zijn er mee bezig, we gaan de oplossingen zo snel mogelijk implementeren. Excuses voor het ongemak!

Plaatsing 25-11 14.48

Update “Unknown MySQL server host”-probleem

Probleem
Af en toe geven sites een “MySQL unknown host” melding, terwijl zowel de site en de database gewoon up zijn.

Vermoedelijke oorzaak
De machines die verantwoordelijk zijn voor het interne systeem met routeringen (DNS) lijken drukker met geheugen bezig te zijn dan normaal. De hypothese is dat door deze toegenomen drukte een klein deel van de lookups faalt. Hierdoor krijgt de website niet te horen wie zijn databaseserver is.

Oplossingsrichtingen
* Uitbreiden van het gebeugen in deze DNS servers.
* Minder taken op deze servers.
* Verder zoeken naar de oorzaak van de toegenomen belasting.

We zijn er mee bezig, we gaan de oplossingen zo snel mogelijk implementeren. Excuses voor het ongemak!

Plaatsing 23-11 20.15: Vannacht (dinsdag 23-11) gaan we backups op Cluster4 opnieuw aanzetten. Gisternacht is dit onderhoud niet gelukt. Van Cluster4 zijn van maandag en vandaag geen historische backups.

De komende nachten (na 24.00) zullen we verder werken aan het opruimen van mailbackups (dit kan leiden tot trage mail) en het verplaatsen van enkele databases (deze zijn kort read-only). ‘S nachts is er minimale belasting/gebruik van onze systemen.

Excuses voor de late aankondiging, we willen verdere verstoringen voor zijn.

Update 15.26: Storing verholpen, er was een configuratiefoutje. We onderzoeken het nog verder.

Update 15.11: Inloggen met wachtwoord werkt niet op SSH.C1. Inloggen met keys werkt wel. We zijn er mee bezig. Excuses voor het ongemak.

Update 15.26: Storing verholpen, er was een configuratiefoutje. We onderzoeken het nog verder.

Update 15.11: Inloggen met wachtwoord werkt niet op SSH.C1. Inloggen met keys werkt wel. We zijn er mee bezig. Excuses voor het ongemak.

Vannacht is er een nieuwe fileserver bijgeplaatst voor de e-mail. Hierdoor verwachten we vandaag minder overlast op de mailservers. Dit bijschakelen ging vlekkeloos.

Echter,tijdens routineonderhoud op de bestaande mailserver (opruimen van een aantal oude snapshots) traden er onverwachte problemen op. De disks ging vol aan de slag om de gededupliceerde data op te sporen die losgelaten kon worden. Dat lijkt op een bug in ZFS. Het opruimen kan helaas niet afgebroken worden als dit eenmaal is ingezet.

Het zorgde er helaas wel voor dat we de toch al sterk verstoorde e-mail dienstverlening volledig moesten onderbreken zodat dit verwijderen in volle gang kon gaan. Omstreeks 8:30 was dit gelukkig gereed en kon de mail weer aan.

De storing is nu opgelost. De mail kan enkele minuten tot een half uur vertraagd aankomen, maar komt wel binnen. Er is geen mail zoek geraakt.

Excuses voor het ongemak.

Update 18.00: Maildiensten zijn allemaal weer snel en operationeel.Vanavond zetten we nog wat mailboxen over, zodat we de capaciteit uitbreiden.

Update 14.00: We zijn nog steeds bezig met de mail versnellen. Mail is waarschijnlijk nog enige uren traag. We verwachten vanavond de problemen te hebben opgelost

Morgenochtend (7.00) doen we klein onderhoud aan de filestorage van cluster2. Er is een kleine kans dat de site of FTP enkele seconden niet bereikbaar is. Dit snelle onderhoud is nodig om de backups beter te doen. Excuses voor de late aankondiging.

We zijn nog steeds bezig met de mail versnellen. Mail is waarschijnlijk nog enige uren traag. We verwachten vanavond de problemen te hebben opgelost. Excuses voor het ongemak.

Voor cluster 4 maken we vandaag (22 november) geen backup. De backup veroorzaakte rond 14.00 een verhoging van belasting op de webservers in C4. We hebben gekozen voor snelheid op de sites ten koste van een backup.

De volgende backups doen we naar een andere node, daarmee verwachten we de problemen structureel op te lossen.

Via https://service.byte.nl/protected/export/clusters.cgi?type=html kunt u zien voor welke sites op C4 staan.

Excuses voor het ongemak!