16 jul

High Volume Router Issues [Update]

Time: July 16th 2012 14:31:00
Dear Customers,

We are having some high volume router issues in our Haarlem Data Center on the following ranges:

62.212.72.0/23
62.212.82.0/24
62.212.85.0/24
62.212.88.0/23
82.192.94.0/23
82.192.84.0/23
83.149.70.0/23
85.17.24.0/21
83.149.124.0/22
95.211.136.0/21
95.211.144.0/20

We will update this page when more information is available.

[Update 14:41]
The initial cause of the problem was the routing process on the active routing engine.
The process became unresponsive and got killed by the Juniper operating system.
A newly spawned routing process also encountered issues.
We then decided to do a routing engine switchover.
This initially seemed to resolve the issue, but we are finding there are still routing issues.
An update will follow soon.

[Update 14:49]
We are unable to fix the routing process issues on the second routing engine.
The primary routing engine will now be rebooted, once that is back online we will issue another switchover of active routing engine.

23 apr

[20120423] Powerloft volume network upgrade [POSTPONED] [Update]

Startdate: April 23rd 2012 11:00:00 (CEST)
Enddate: April 23rd 2012 14:00:00 (CEST)

[UPDATE @ 08:00]
The maintenance went successful. The ports have been moved to the new router and everything is working as expected. Downtime per rack was about 900ms. If you have any further questions or experience issues, please contact us at [email protected]

Dear customer,

During this maintenance we will upgrade our volume network at our hosting location in the US. Powerloft (HDCS) in Manassas, Virginia. As we are moving some ports to the new Juniper MX960-3D there will be some downtime during this maintenance, however we will do our utmost to make this downtime as short as possible.

Affected ranges:
-108.59.3.0/24
-108.59.4.0/24
-108.59.7.0/24
-108.59.8.0/22
-108.59.13.0/24
-108.59.14.0/24
-199.58.84.0/22
-199.115.114.0/24
-2604:9A00:2010::/44

The maintenance will take place on the 23rd of April between 11:00 CEST, 5:00 AM EDT (Manassas, Virginia) and 14:00 CEST, 08:00 AM EDT (Manassas, Virginia) time.

Kind regards,

LeaseWeb NOC

16 apr

[20120423] Powerloft volume network upgrade [POSTPONED] [Update]

Startdate: April 23rd 2012 11:00:00 (CEST)
Enddate: April 23rd 2012 14:00:00 (CEST)

Dear customer,

During this maintenance we will upgrade our volume network at our hosting location in the US. Powerloft (HDCS) in Manassas, Virginia. As we are moving some ports to the new Juniper MX960-3D there will be some downtime during this maintenance, however we will do our utmost to make this downtime as short as possible.

Affected ranges:
-108.59.3.0/24
-108.59.4.0/24
-108.59.7.0/24
-108.59.8.0/22
-108.59.13.0/24
-108.59.14.0/24
-199.58.84.0/22
-199.115.114.0/24
-2604:9A00:2010::/44

The maintenance will take place on the 23rd of April between 11:00 CEST, 5:00 AM EDT (Manassas, Virginia) and 14:00 CEST, 08:00 AM EDT (Manassas, Virginia) time.

Kind regards,

LeaseWeb NOC

11 apr

[20120419] Powerloft volume network upgrade [UPDATED DATE] [Update]

Startdate: April 19th 2012 11:00:00 (CEST)
Enddate: April 19th 2012 14:00:00 (CEST)

Dear customer,

During this maintenance we will upgrade our volume network at our hosting location in the US. Powerloft (HDCS) in Manassas, Virginia. As we are moving some ports to the new Juniper MX960-3D there will be some downtime during this maintenance, however we will do our utmost to make this downtime as short as possible.

Affected ranges:
-108.59.3.0/24
-108.59.4.0/24
-108.59.7.0/24
-108.59.8.0/22
-108.59.13.0/24
-108.59.14.0/24
-199.58.84.0/22
-199.115.114.0/24
-2604:9A00:2010::/44

The maintenance will take place on the 19th of April between 11:00 CEST, 5:00 AM EDT (Manassas, Virginia) and 14:00 CEST, 08:00 AM EDT (Manassas, Virginia) time.

Kind regards,

LeaseWeb NOC

15 nov

[20111107] Global routing issues [Update]

Time: November 7th 2011 15:33:00(CEST)
Dear Customer,

At the moment we are experiencing connectivity degradation around the globe.

Probably these issues are caused by router software crashes with several carriers. Our own network equipment is not affected.

As soon as we have an update about this situation, we will update the NOC posting.

Regards,

LeaseWeb BV

[UPDATE 16:30] All connectivity has been restored, the issue was caused by a software bug in Juniper router software.

20 okt

[ Storing bij XS4ALL (Update)] Korte hickups mogelijk

 

Update 17.30: XS4ALL gaat vannacht onderhoud doen. Dit zal misschien korte onderbrekingen met zich meebrengen, maar naar verwachting niet of nauwelijks. Lees meer bij XS4ALL.
Vers van de pers: Roy Byte meldt dat XS4ALL op dit moment onderdelen ingevlogen krijgt en dat ze vanaf 01.00 de Juniper-shizzle gaan vervangen. Waarschijnlijk 2-3 uur lang kans op hickups.

Update 16:00 uur: XS4ALL meldt dat hun netwerk op dit moment weer grotendeels stabiel en onder controle is. Ze werken nog hard door om alles weer op het oude niveau te krijgen.

Originele bericht: Op dit moment is er een netwerkstoring gaande bij XS4ALL, de partij die ons datacentrum beheert en waar al onze sites en diensten draaien. De impact hiervan is klein maar het resultaat hiervan kan zijn dat sommige websites en sommige van onze andere diensten (zoals FTP en SSH) tijdelijk niet beschikbaar zijn.

 

15 nov

Core router replacement (Telecity 2)

Startdate: December 1st 2010 03:30:00(CEST)
Enddate: December 1st 2010 09:00:00(CEST)

Dear Customer,

During this maintenance window we will replace our current Cisco core router with a Juniper core router.

At 03:00 we will reroute all traffic from the Cisco at Telecity to the core router at EvoSwitch.

Around 08:00 the new router should be up and running, and traffic will be routed back to Telecity.

The should be no traffic interruption, in case you do see issues please contact our support email.

Kind regards,

LeaseWeb NOC

02 sep

Amsterdam verwelkomt OpenDNS

Het Amerikaanse OpenDNS heeft laten weten een nieuwe locatie voor haar DNS diensten te hebben geopend. Naast verschillende locaties in de VS en een lokatie in Londen, is Amsterdam als nieuwe lokatie toegevoegd. OpenDNS biedt een beveiligde en stabiele DNS service aan voor gebruikers, die graag een alternatief willen voor de DNS servers van hun provider. OpenDNS richt zich vooral op de stabiliteit en veiligheid, om zo de kans op storing of DNS-spoofing met betrekking tot het gebruik van DNS servers buitenspel te zetten. Voor  meer informatie, bezoek deze pagina.

De setup van OpenDNS is geplaatst in het Telecity 2 datacentrum. Met de locatie in Amsterdam wordt supersnelle afhandeling van DNS aanvragen  in Europa verstevigd.
De officiële statement van OpenDNS:

by David Ulevitch on Aug 31st, 2009
Two weeks ago I was in Amsterdam, The Netherlands, doing an installation and am happy to report that as of today, that site is online and serving production OpenDNS traffic.

One of the neat things about OpenDNS is that we use something called Anycast technology in how we run our network. That’s great for you — it means no matter where you are in the world, your DNS requests route through our closest datacenter. When we do maintenance, our routing topology ensures you will route to our next closest datacenter. It also means that when we bring up a new datacenter that is closer to you, your DNS requests will go to it.

And here’s a photo of what our installation looks like:

From top to bottom we have:

Operations machine for management
Juniper MX480 Router
Cisco 2950 Switch for management
3 SuperMicro Twin2U Servers (each with four servers in a single chassis)

This is a fairly typical setup for us. We have lots of room to add more servers as needed (though we think the 12 we have will be plenty for quite a while). We’re happy to answer questions, so please feel free to ask ‘em. You can see more pics of our setup here: OpenDNS in Amsterdam

27 aug

Aanvullend spoedonderhoud aankomende nacht

Vannacht zullen wij een aanvullend spoedonderhoudsvenster openen om de geplaatste fibersplitters na te lopen. In de voorbereiding op de onderhoudsvensters van volgende week, waarin onze nieuwe corerouters in productie worden gebracht, is namelijk gebleken dat niet elke splitter juist is aangekoppeld. Om elke risico van complicaties uit te sluiten zullen daarom vannacht alle splitters op de locaties DCG, Global Switch en Nikhef worden nagezien.

Het venster start om 02:00 en eindigt om 06:00. Het is mogelijk dat enkele fibers ontkoppeld zullen worden om foutief aangesloten splitters juist aan te sluiten. Derhalve is ervoor gekozen om voor vannacht een noodvenster af te kondigen. Tijdens het venster zal geen onderbreking van de netwerkvoorziening optreden. De werkzaamheden worden volgens het four-eye principe uitgevoerd met twee technische medewerkers op locatie.

We zijn ons bewust van het relatief hoge aantal wijzigingen op onze core-netwerk infrastructuur in de afgelopen weken. Dit heeft alles te maken met de gefaseerde ingebruikname van ons compleet nieuwe core-netwerk [http://www.nxs.nl/nl/news/18/214/Nxs-Internet-investeert-in-nieuwe-netwerkinfrastructuur-van-Juniper/]. We doen al het mogelijke om deze ingrijpende overgang zo soepel mogelijk te laten verlopen.

23 mrt

Definitieve vervanging router

In de nacht van 23 maart op 24 maart zal de core router op Global Switch definitief vervangen worden. Na de problemen van vorige week wordt zo snel mogelijk een nieuwe router besteld. De levertijd van deze router bedraagt enkele maanden. In de tussentijd is door Juniper een leenapparaat (Juniper M10i) ter beschikking gesteld die vannacht in productie zal worden genomen.

De werkzaamheden zullen om 02:00 beginnen, de verwachting is dat de werkzaamheden om 03:30 volledig zijn afgerond. Na afronding van de werkzaamheden zal hiervan een update worden geplaatst.