Time: October 13th 2011 13:44:00(CEST)
Expected Downtime: Unknown

Location: Wupertal Germany

Reason: Hardware failure

*******************************

Dear Customer,

At the moment we experience some troubles in the German part of our network, datacenter Wupertal. The cause of this is that a link between the XMR and the core went down.

We are currently in contact with the provider to have an engineer onsite to resolve the issue as soon as possible.
Please be patient while we are working on this problem.

Regards,
LeaseWeb BV

UPDATE @ 17:40
We located the faulty segment on the circuit. The engineer is now on the way to the site to measure and repair the segment.

UPDATE @ 18:50
The engineer is stuck in the traffic so it is taking a bit longer then expected. We can expect him to arrive within 1 hour

UPDATE @ 19:30
The engineer has arrived. Now locating the fault and repair

UPDATE @ 20:30
Broken Fiber Strand found, checking fastest possible solution for fix

UPDATE @ 20:50
Splicing Team is on there way to remove broken part and splice in a new part

UPDATE @ 21:55
Fiber Strand is not reparable, new cable is beeing pulled

UPDATE @ 23:40
around 200 Meters cable pulled, pigtail splicing begins shortly

UPDATE @ 02:15
Everything is back online

=====

German Translation:

Sehr geehrte Kunden,

Im Moment haben wir ein Netzwerkproblem in einem Teil unseres Deutschen Netzwerks im Datacenter in Wuppertal. Der Grund ist, dass eine Leitung zwischen dem Core und der XMR down ist.

Wir sind in Kontakt mit dem Provider und haben einen Techniker vor Ort um das Problem so schnell wie moeglich zu beheben.
Wir bedanken uns fuer Ihr Verstaendnis und Ihre Geduld.

Mit freundlichen Gruessen,
LeaseWeb Germany GmbH

UPDATE @ 17:40
Das fehlerhafte Kabelsegment wurde lokalisiert, ein Techniker des Leitungsbetreibers ist auf dem Weg zum Rechenzentrum um den Fehler zu beheben

UPDATE @ 18:50
Der Techniker verspaetet sich aufgrund des Verkehrsaufkommens, wir erwarten ihm laufe der naechsten Stunde

UPDATE @ 19:30
Der Techniker ist angekommen. Fehlerbehebung beginnt

UPDATE @ 20:30
Das defekte Kabel und die Schadstelle sind lokalisiert, zur Zeit wird nach der schnellsten Loesung gesucht um das Problem zu behoben

UPDATE @ 20:50
Ein Splicing Team ist unterwegs um das betroffene Teilstueck zu entfernen und ein neues einzusetzen

UPDATE @ 21:55
Das defekte Kabel ist irreperabel Beschaedigt, ein neues Kabel wird zur Zeit eingezogen

UPDATE @ 23:40
Knapp 200Meter Kabel wurden neu verlegt, das splicen der Verbinder startet in kuerze

UPDATE @ 02:15
Alle Leitung sind repariert, Arbeiten abgeschlossen