02 mrt

Core router reload

Startdate: March 24th 2010 04:00:00(CEST)
Enddate: March 24th 2010 06:00:00(CEST)

Dear Customer,

Cisco has supplied a couple of patches for our core routers.
During this maintenance we will apply these patches to our core router at Evoswitch.

The updates entail three reloads of the router.
During the maintenance window all traffic will be rerouted through our other core router at Telecity-2.

Kind regards,

LeaseWeb NOC.

02 sep

Amsterdam verwelkomt OpenDNS

Het Amerikaanse OpenDNS heeft laten weten een nieuwe locatie voor haar DNS diensten te hebben geopend. Naast verschillende locaties in de VS en een lokatie in Londen, is Amsterdam als nieuwe lokatie toegevoegd. OpenDNS biedt een beveiligde en stabiele DNS service aan voor gebruikers, die graag een alternatief willen voor de DNS servers van hun provider. OpenDNS richt zich vooral op de stabiliteit en veiligheid, om zo de kans op storing of DNS-spoofing met betrekking tot het gebruik van DNS servers buitenspel te zetten. Voor  meer informatie, bezoek deze pagina.

De setup van OpenDNS is geplaatst in het Telecity 2 datacentrum. Met de locatie in Amsterdam wordt supersnelle afhandeling van DNS aanvragen  in Europa verstevigd.
De officiële statement van OpenDNS:

by David Ulevitch on Aug 31st, 2009
Two weeks ago I was in Amsterdam, The Netherlands, doing an installation and am happy to report that as of today, that site is online and serving production OpenDNS traffic.

One of the neat things about OpenDNS is that we use something called Anycast technology in how we run our network. That’s great for you — it means no matter where you are in the world, your DNS requests route through our closest datacenter. When we do maintenance, our routing topology ensures you will route to our next closest datacenter. It also means that when we bring up a new datacenter that is closer to you, your DNS requests will go to it.

And here’s a photo of what our installation looks like:

From top to bottom we have:

Operations machine for management
Juniper MX480 Router
Cisco 2950 Switch for management
3 SuperMicro Twin2U Servers (each with four servers in a single chassis)

This is a fairly typical setup for us. We have lots of room to add more servers as needed (though we think the 12 we have will be plenty for quite a while). We’re happy to answer questions, so please feel free to ask ‘em. You can see more pics of our setup here: OpenDNS in Amsterdam

07 jul

Onderhoud – Eurofiber [16-07]

Datum: 16-07-2009
Starttijd: 0:01
Eindtijd: 6:00


Omschrijving werkzaamheden/storing:
Eurofiber gaat nieuwe apparatuur plaatsen naar aanleiding van de storing
van 28-06-2009. De oude routers worden geupgrade naar nieuwe Cisco MPLS
routers.

Verwachte Impact:
Korte onderbrekingen in de dienstverlening van klanten op het voormalig
Fastfiber

31 mrt

BBNed maintenance

Startdate: May 20th 2009 00:00:00(CEST)
Enddate: May 20th 2009 06:00:00(CEST)

Dear customer,

Our DSL partner BBNed is announcing that they will have complete outage because of an IOS upgrade on all their Cisco Routers.

All DSL orders are affected

Best regards,

LeaseWeb – NOC

29 dec

Netwerkonderhoud 14 januari

Netwerkonderhoud
Op woensdag 14 januari a.s. zullen wij van 0.00 tot 6.00 het
onderstaande onderhoud uitvoeren aan ons netwerk:

  • in één van de colokatie switches in BIT-2 zal een extra ethernet
    module geplaatst worden om te kunnen voorzien in nieuwe ethernet
    poorten. Dit levert naar verwachting geen onderbreking op voor klanten
    aangesloten op deze switch.
  • op advies van de leverancier van onze DWDM apparatuur zullen we de
    1Gbit/s ethernet transponders in BIT-1 en Telecity-2 voorzien van extra
    demping om de signaalsterkte op hetzelfde nivo te brengen als de overige
    golflengtes. Dit levert een of meerdere korte onderbrekingen op voor
    klanten met 1Gbit/s golflengtes tussen BIT-1 en Telecity-2. Overige
    klanten ondervinden hier geen hinder van.
  • we zullen op onze F5 loadbalancers een configuratie wijziging
    doorvoeren om de geheugen allocatie te optimaliseren. Deze wijziging
    vereist een herstart van beide loadbalancers. Doordat de loadbalancers
    redundant zijn uitgevoerd verwachten wij geen merkbare onderbreking in
    de loadbalanced diensten.
  • de configuratie van een aantal door ons beheerde klant switches zal
    aangepast worden. De aanpassing betreft de configuratie van de uplink
    poorten van deze switches. Hierdoor zal mogelijk een korte onderbreking
    optreden voor klanten met Cisco switches welke door ons beheerd worden.
  • de UTP bekabelings infrastructuur in de colo 2 ruimte in BIT-1 zal
    herstructureert worden. Klanten met een UTP uplink poort in deze ruimte
    zullen naar verwachting een of meerdere onderbrekingen van enkele
    minuten ervaren. Tevens zullen enkele BIT-diensten omgepatched worden,
    echter deze diensten zullen niet onderbroken worden aangezien dit allen
    loadbalanced diensten betreft.

Mocht u vragen hebben naar aanleiding van dit onderhoud, dan kunt u
contact opnemen met onze afdeling Customer Care via 0318 648 688 of
[email protected].

29 dec

Netwerkonderhoud 14 januari

Netwerkonderhoud
Op woensdag 14 januari a.s. zullen wij van 0.00 tot 6.00 het
onderstaande onderhoud uitvoeren aan ons netwerk:

  • in één van de colokatie switches in BIT-2 zal een extra ethernet
    module geplaatst worden om te kunnen voorzien in nieuwe ethernet
    poorten. Dit levert naar verwachting geen onderbreking op voor klanten
    aangesloten op deze switch.
  • op advies van de leverancier van onze DWDM apparatuur zullen we de
    1Gbit/s ethernet transponders in BIT-1 en Telecity-2 voorzien van extra
    demping om de signaalsterkte op hetzelfde nivo te brengen als de overige
    golflengtes. Dit levert een of meerdere korte onderbrekingen op voor
    klanten met 1Gbit/s golflengtes tussen BIT-1 en Telecity-2. Overige
    klanten ondervinden hier geen hinder van.
  • we zullen op onze F5 loadbalancers een configuratie wijziging
    doorvoeren om de geheugen allocatie te optimaliseren. Deze wijziging
    vereist een herstart van beide loadbalancers. Doordat de loadbalancers
    redundant zijn uitgevoerd verwachten wij geen merkbare onderbreking in
    de loadbalanced diensten.
  • de configuratie van een aantal door ons beheerde klant switches zal
    aangepast worden. De aanpassing betreft de configuratie van de uplink
    poorten van deze switches. Hierdoor zal mogelijk een korte onderbreking
    optreden voor klanten met Cisco switches welke door ons beheerd worden.
  • de UTP bekabelings infrastructuur in de colo 2 ruimte in BIT-1 zal
    geherstructureerd worden. Klanten met een UTP uplink poort in deze ruimte
    zullen naar verwachting een of meerdere onderbrekingen van enkele
    minuten ervaren. Tevens zullen enkele BIT-diensten omgepatched worden,
    echter deze diensten zullen niet onderbroken worden aangezien dit allen
    loadbalanced diensten betreft.

Mocht u vragen hebben naar aanleiding van dit onderhoud, dan kunt u
contact opnemen met onze afdeling Customer Care via 0318 648 688 of
[email protected].

19 nov

Failure EvoSwitch Ring3 [Update]

Time: November 19th 2008 14:45:00(CEST)
Expected Downtime: Unknown
Location: EvoSwitch

Reason: Under investigation
*******************************

Dear Customer,

At this moment we are experiencing a failure on our ring3 device at location EvoSwitch.

We are doing our utmost to solve this issue a.s.a.p.
As soon as we have more information available, we will publish it here.

Please be patient while we are working on this problem.

Regards,
LeaseWeb BV

[UPDATE 14:55] The device is online again, we are still investigating this issue.

[UPDATE 15:02] The switch that reloaded itself was not a ring core router, but an edge switch. The switch reloaded itself due to a software forced crash. Cisco TAC is investigating if it might have been caused by an known software issue or an other cause. After the crash the switch was rebooted with a newer version IOS.
No customers were completely down during the reboot, however some destinations experienced packetloss while BGP routes reconverged.

25 sep

[STATEMENT] Unstable network Wednesday

Time: September 25th 2008 16:30:00
Leaseweb Update

Dear customer,

as you might or might not have noticed, there were some network issues at Leaseweb on Wednesday, September 24. Unfortunately, this affected our phone system as well, so for a period of time you could not reach our support.

We apologize sincerely for any inconvenience you might have experienced from this.

Currently we are still investigating the causes in detail. With this newsletter we would like to inform you about the current state of these investigations:

Starting 13:20 CET and continuing through the afternoon, we experienced some severe DDoS attacks on several IPs. The heavy load continued even after null routing the affected IPs. This was caused by multiple blade failures in one of our datacenters in combination with software errors.

At around 16:00 CET the network was stable again but got under a new stress attack right away. The connection between EVO and other parts of our network still experienced some package losses. We could keep the effect mostly local, so the overall network remained stable. At 19:00 everything was finally totally contained.

In summary, we can only say for sure at this stage that the instability was due to some combination of the DDoS attacks and hardware and software issues which were most likely caused or at least accelerated by the DDoS.

As the problems fluctuated and we took countermeasures right away, not all servers were affected and even the ones that were mostly only experienced very limited outages.

Nevertheless and again, we apologize for the trouble you have had with connectivity, your servers, websites and customers.

Please note that we will update the software on Ring 3 tonight as a precautionary measure. (This will also be announced separately on the NOC site.)

For the future, we already started taking precautions for similar issues several weeks ago: we have been working on redesigning our network setup for two new Cisco CRS-1 Backbone Core routers. This top notch technology will reduce the potential points of failure and enable us to react even faster to network issues. Furthermore, we have been redesigning our telephone system with redundancy capacities. It will go online in a few days, so you will be able to reach us in such cases of emergency and we can deliver the usual good Leaseweb service.

On this as well as the current issues we will keep you updated. Especially for the latter, please also check for news on our NOC (Network Operations Center) site at http://noc.leaseweb.com/ where we always announce important network issues.

We would also like to remind you on this occasion on the ways to contact our support. For any issues, please feel free to contact us at +31 20 3162880 via phone or [email protected] via email. Please do so especially if you are still experiencing problems with relation to Wednesday???s issues.

Best regards

The Leaseweb B.V. Management

09 aug

Korte onderbreking DSL

Vanwege een korte storing aan onze Cisco die DSL verkeer termineert, ondervonden wij een korte onderbreking van onze DSL verbindingen. Tussen 09:25u en 09:27 zijn DSL verbindingen onderbroken geweest. De DSL verbindingen hebben wel DSL signaal behouden en zijn inmiddels allemaal weer werkzaam.

Mocht u echter nog problemen ondervinden, neemt u dan gerust contact met ons op.

18 jan

Vervanging Cisco hardware in het netwerk van BBNED

Vervanging Cisco hardware BBNED
In opvolging van het eerder aangegeven onderhoud van Cisco in het BBNED netwerk, volgt op bovengenoemde datum een tweede onderhoud. Het oorspronkelijke bericht van BBned was:


Om te werken aan een beter netwerk en zo diensten beter te kunnen leveren heeft BBned, eind 2005, samen met Cisco kritisch naar het BBned netwerk gekeken.

Het assessment rapport geeft BBned een duidelijk beeld van het huidige Cisco netwerk. Daarnaast geeft Cisco een aantal aanbevelingen. Eén van deze aanbevelingen is het pro-actief omruilen van een groot aantal kaarten op het Cisco MGX platform. Deze ruil moet plaatsvinden omdat Cisco een betere kaart beschikbaar heeft dan de versie die BBned in gebruik heeft. Deze kaart is, specifiek in gebruik van geheugen, sterk verbeterd en garandeert meer stabiliteit.

Het omruilen van deze kaarten gaat plaatsvinden in twee service windows. De eerste zal plaatsvinden op 26 februari 2006 en de tweede op 12 maart 2006. BBned zal hiervoor de standaard service window tijden van 00.00 tot 06.00 uur hanteren. In beide service windows zullen een aanzienlijk aantal onderbrekingen plaatsvinden. Tijdens de werkzaamheden op 26 februari zijn de werkzaamheden vooral gericht op het core netwerk. Dit veroorzaakt diverse onderbrekingen en veelal herrouteringen over het gehele netwerk. De werkzaamheden op 12 maart richten zich meer op de connecties naar de MDF locaties en handoverpoint(s). De werkzaamheden zullen impact hebben op een groot deel van de eindgebruikers van BBned. Detailinformatie volgt later.