Time: February 17th 2012 22:23:00(CEST)
Expected Downtime: Unknown

Location: Wuppertal Germany

Reason: Hardware failure

*******************************



Dear Customer,



At the moment we experience some troubles in (part of) our network.



We are doing our utmost to solve this issue a.s.a.p.

As soon as we have more information available, we will publish it here.



Please be patient while we are working on this problem.



Regards,

LeaseWeb BV



[update 22:33]

One of the core routers in Frankfurt has a failing linecard.

The card is rebooting continuously.

We have moved traffic away from the card and expected everything to stabilize while we work on a replacement.

However a router in Wuppertal was experiencing high load due to the flapping interfaces.

This caused additional issues.

We are still troubleshooting.



[update 22:59]

One of the routers has become totally unresponsive.

We are still working on the issue.



[update 23:39]

The router is responsive again.

We are bringing back customer uplinks.



[update 00:50]

All Ports are reconnected, if you still encounter problems please send us an email to [email protected]

Spare part for adding redundancy back on Core Router is ordered, ETA is 02:15



[update 03:00]

Supplier confirmed that the spare Part is not in Stock, we are now in progress to find another solution to bring back redundancy in the meanwhile



[update 05:30]

All Lines are back with redundancy



Sehr geehrte Kunden,



zur Zeit haben wir eine Störung in teilen unseres Netzwerkes.

Wir arbeiten daran dies so schnell wie möglich zu beheben.



Mit freundlichen Grüssen



LeaseWeb



[update 22:33]



Bei einem unserer Core Router ist eine Linecard ausgefallen und rebootet sich permanent.

Der Traffic wurde von dieser Linecard umgeroutet, leider müssen wir feststellen das ein Router aufgrund der sich rebootenden Linecard nicht mehr zu erreichen ist. Zur Zeit arbeiten wir an der Fehlerdiagnose.



[update 23:39]

Der in Wuppertal ausgefallene Router is wieder erreichbar. Kunden Uplinks werden wieder aktiviert.



[update 00:50]



Alle Kunden Uplinks sind wieder aktiv.

Sollten sie weiterhin Probleme feststellen senden sie uns bitte eine mail an [email protected]



Das Ersatzteil für den Core Router is bestellt und wird vorraussichtlich um 02:15 bei uns eintreffen



[update 03:00]

Der Lieferant hat bestätigt das das Ersatzteil nicht vorrätig ist. Wir fahren nun fort eine andere Lösung zu finden um die redundanz wieder herzustellen



[update 05:30]

Alle Leitung sind wieder Redundant angeschlossen

Time: February 17th 2012 22:23:00(CEST)
Expected Downtime: Unknown

Location: Wuppertal Germany

Reason: Hardware failure

*******************************



Dear Customer,



At the moment we experience some troubles in (part of) our network.



We are doing our utmost to solve this issue a.s.a.p.

As soon as we have more information available, we will publish it here.



Please be patient while we are working on this problem.



Regards,

LeaseWeb BV



[update 22:33]

One of the core routers in Frankfurt has a failing linecard.

The card is rebooting continuously.

We have moved traffic away from the card and expected everything to stabilize while we work on a replacement.

However a router in Wuppertal was experiencing high load due to the flapping interfaces.

This caused additional issues.

We are still troubleshooting.



[update 22:59]

One of the routers has become totally unresponsive.

We are still working on the issue.



[update 23:39]

The router is responsive again.

We are bringing back customer uplinks.



[update 00:50]

All Ports are reconnected, if you still encounter problems please send us an email to [email protected]

Spare part for adding redundancy back on Core Router is ordered, ETA is 02:15





Sehr geehrte Kunden,



zur Zeit heben wir eine Störung in teilen unseres Netzwerkes.

Wir arbeiten daran dies so schnell wie möglich zu beheben.



Mit freundlichen Grüssen



LeaseWeb



[update 22:33]



Bei einem unserer Core Router ist eine Linecard ausgefallen und rebootet sich permanent.

Der Traffic wurde von dieser Linecard umgeroutet, leider müssen wir feststellen das ein Router aufgrund der sich rebootenden Linecard nicht mehr zu erreichen ist. Zur Zeit arbeiten wir an der Fehlerdiagnose.



[update 23:39]

Der in Wuppertal ausgefallene Router is wieder erreichbar. Kunden Uplinks werden wieder aktiviert.



[update 00:50]



Alle Kunden Uplinks sind wieder aktiv.

Sollten sie weiterhin Probleme feststellen senden sie uns bitte eine mail an [email protected]



Das Ersatzteil für den Core Router is bestellt und wird vorraussichtlich um 02:15 bei uns eintreffen

Time: February 17th 2012 22:23:00(CEST)
Expected Downtime: Unknown

Location: Wuppertal Germany

Reason: Hardware failure

*******************************



Dear Customer,



At the moment we experience some troubles in (part of) our network.



We are doing our utmost to solve this issue a.s.a.p.

As soon as we have more information available, we will publish it here.



Please be patient while we are working on this problem.



Regards,

LeaseWeb BV



[update 22:33]

One of the core routers in Frankfurt has a failing linecard.

The card is rebooting continuously.

We have moved traffic away from the card and expected everything to stabilize while we work on a replacement.

However a router in Wuppertal was experiencing high load due to the flapping interfaces.

This caused additional issues.

We are still troubleshooting.



[update 22:59]

One of the routers has become totally unresponsive.

We are still working on the issue.



[update 23:39]

The router is responsive again.

We are bringing back customer uplinks.

Time: February 17th 2012 22:23:00(CEST)
Expected Downtime: Unknown

Location: Wuppertal Germany

Reason: Hardware failure

*******************************



Dear Customer,



At the moment we experience some troubles in (part of) our network.



We are doing our utmost to solve this issue a.s.a.p.

As soon as we have more information available, we will publish it here.



Please be patient while we are working on this problem.



Regards,

LeaseWeb BV



[update 22:33]

One of the core routers in Frankfurt has a failing linecard.

The card is rebooting continuously.

We have moved traffic away from the card and expected everything to stabilize while we work on a replacement.

However a router in Wuppertal was experiencing high load due to the flapping interfaces.

This caused additional issues.

We are still troubleshooting.



[update 22:59]

One of the routers has become totally unresponsive.

We are still working on the issue.

Startdate: January 26th 2012 06:00:00(CEST)
Enddate: January 26th 2012 07:00:00(CEST)

Dear Customer,

As part of our commitment to continually improve the level of service you receive from LeaseWeb we are undertaking this maintenance.
During this maintenance window we will change some configuration entries on both our core routers. We will do these changes on both core routers separately.
Due to our redundant core router setup there should only be very short interruptions while alternate routing paths are chosen.

Kind regards,
LeaseWeb – NOC

—-

Sehr geehrte Kunden,

als Teil unserer Bestrebung stetig den Service von LeaseWeb zu verbessern nehmen wir diese Wartungsarbeit vor.
Während dieser Wartungsarbeit werden wir einige Konfigurationsänderungen an beiden unserer Core Routern vornehmen.
Aufgrund der redundanten Struktur der Core Router wird es höchstens kurzzeitige Aussetzer geben während alternative Routing Pfade gewählt werden.

Mit freundlichen Grüßen
LeaseWeb – NOC

Time: January 12th 2012 13:12:00(CEST)
Location: Wuppertal, Germany



Reason: Under investigation

*******************************



Dear Customer,



At the moment we experience some troubles in (part of) our network.



We are doing our utmost to solve this issue a.s.a.p.

As soon as we have more information available, we will publish it here.



Please be patient while we are working on this problem.



Regards,

LeaseWeb BV





[Update 13:40]

Fiber Carrier Confirmed a Major Outage in Region Nordrhein-Westfalen, ETR not set.



Re-routing on our side already occoured, in case you still see issues, please inform us via email to [email protected]



[Update 15:40]

Fiber Carrier still locating the the issue, seems to be a Fiber Cut, still no ETR



[Update 20:30]

Fiber Carrier located the faulty part, splicing crew onsite to re-splice the whole fiber strand. ETR around 06:00AM CET 13.01.20.12



[Update 08:30]

The Fiber is already repaired since 22:00CET 12.01.2012. We haven taken the Line fully online during this morning







Sehr geehrte Kunden,



zur Zeit gibt es Probleme mit einem Router in Wuppertal.



Wir arbeiten daran dies so schnell wie möglich zu beheben.



Mit freundlichen Grüssen



LeaseWeb



[Update 13:40]

Der Leitungsanbieter hat eine Grossstörung im Raum Nordrhein-Westfalen bestätigt, Reparaturzeit seitens des Anbieters bisher nicht angegeben.



Re-routing des Datanverkehrs ist bereits erfolgt. Sollten sie weiterhin Störungen haben senden sie uns bitte eine mail an [email protected]



[Update 15:40]

Der Leitungsanbieter ist noch dabei die Störung auf der Glasfaserstrecke zu lokalisieren, weiterhin keine Reparaturzeit angegeben.



[Update 20:30]

Die Störung ist lokalisiert. Arbeiter sind vor Ort um die Fasern neu zu splicen. Zur Zeit wird davon ausgegangen das die Störung gegen 06:00Uhr am 13.01.2012 beseitigt ist.



[Update 08:30]

Die Leitung ist seit 22:00Uhr 12.01.2012 repariert. Wir haben diese im laufe des Morgens wieder in vollen Betrieb genommen.

Time: January 12th 2012 13:12:00(CEST)
Location: Wuppertal, Germany



Reason: Under investigation

*******************************



Dear Customer,



At the moment we experience some troubles in (part of) our network.



We are doing our utmost to solve this issue a.s.a.p.

As soon as we have more information available, we will publish it here.



Please be patient while we are working on this problem.



Regards,

LeaseWeb BV





[Update 13:40]

Fiber Carrier Confirmed a Major Outage in Region Nordrhein-Westfalen, ETR not set.



Re-routing on our side already occoured, in case you still see issues, please inform us via email to [email protected]



[Update 15:40]

Fiber Carrier still locating the the issue, seems to be a Fiber Cut, still no ETR



[Update 20:30]

Fiber Carrier located the faulty part, splicing crew onsite to re-splice the whole fiber strand. ETR around 06:00AM CET 13.01.20.12



Sehr geehrte Kunden,



zur Zeit gibt es Probleme mit einem Router in Wuppertal.



Wir arbeiten daran dies so schnell wie möglich zu beheben.



Mit freundlichen Grüssen



LeaseWeb



[Update 13:40]

Der Leitungsanbieter hat eine Grossstörung im Raum Nordrhein-Westfalen bestätigt, Reparaturzeit seitens des Anbieters bisher nicht angegeben.



Re-routing des Datanverkehrs ist bereits erfolgt. Sollten sie weiterhin Störungen haben senden sie uns bitte eine mail an [email protected]



[Update 15:40]

Der Leitungsanbieter ist noch dabei die Störung auf der Glasfaserstrecke zu lokalisieren, weiterhin keine Reparaturzeit angegeben.



[Update 20:30]

Die Störung ist lokalisiert. Arbeiter sind vor Ort um die Fasern neu zu splicen. Zur Zeit wird davon ausgegangen das die Störung gegen 06:00Uhr am 13.01.2012 beseitigt ist.