In de nacht van donderdag de 15e op vrijdag de 16e, omstreeks 03.00, zullen we een firmware upgrade doen op twee van onze vier Juniperrouters. Tevens zal de gigabit ethernet verbinding tussen Sara en Telecity2 worden uitgebreid tot een WDM trunk.

Met het Juniper Technical Assistance Center in Amsterdam is
gecoordineerd dat er een field-upgrade komt van de fpga firmware van onze gigabit ethernet PICs in onze Sara router en onze primaire Kelvinstraat router. Recentelijk is gebleken dat er een bug in deze firmware zit, die het draaien van VRRP onbetrouwbaar (of soms zelfs onmogelijk) maakt. JTAC was het met onze conclusie eens en heeft een
upgradeplan voorgesteld.

We zullen de huidige PICs (de gigabit ethernet insteekmodules) upgraden. Om de impact bij een eventueel gefaalde upgrade te minimaliseren, hebben we de beschikking over een nieuwe PIC (die door Juniper naar ons is verstuurd). De upgradetijd per PIC is 2-3 minuten, waarbij de router
geen verkeer zal forwarden.

— Planning —
Om 02.00 zullen we op Telecity een WDM machine installeren voor de verbinding tussen Sara en Telecity. Om 02.30 zullen we op Sara een WDM machine installeren. Tijdens de installatie zullen we de verbinding uit productie nemen en zal onze ring het verkeer omrouteren. Er is geen onderbreking van de dienstverlening tijdens deze installatie.

Om 03.00 zullen we de Sara router upgraden. Hierbij valt tussen de 5 en 10 minuten de router uit. De klanten die actief gebruik maken van de Sara router zullen we overzetten op de Telecity2 router, dus impact voor klanten is hierbij minimaal.

Om 04.30 zullen we de Kelvinstraat router upgraden. Hierbij valt tussen de 5 en 10 minuten de router uit. De backup router kan tijdens deze upgrade het werk niet overnemen — omdat we juist het backupbaar maken van onze routers aan het fixen zijn. Alle inbel- en coloverbindingen zullen tussen 04.30 en 05.00 gedurende korte tijd wegvallen.

ADSL klanten en klanten met een vaste verbinding naar Ede/Kelvinstraat ondervinden geen hinder van de upgrades.

Afgelopen weekeinde hebben we hinder ondervonden op onze EAPS ring. De precieze oorzaak is nog niet bekend, hierover zijn we in gesprek met de leverancier van de Alpine switches. Preventief wordt voorgesteld om de switches te voorzien van een software upgrade. Er blijkt in de afgelopen
tijd nogal wat te zijn verbeterd aan het EAPS protocol.

— UPGRADE Alpine CORE —
Aanstaande donderdag nacht (dus de nacht van woensdag op donderdag), tussen 03.30 en 04.30, zullen we een voor een de vijf switches voorzien van een nieuw software image. Ze draaien nu 6.2.2b18 en ze gaan naar 6.2.2.b134. De downtime voor elke switch kan beperkt worden tot twee minuten (de nominale reboot tijd). Mocht er iets
misgaan bij de upgrade, kan het platform worden teruggerold naar de stabiele 6.2.2b18 image. Uiteraard kan het terugrollen langer duren dan de eerdergenoemde twee minuten.

— Hernieuwde implementatie VRRP —
De leverancier van onze Junipers heeft na het vorige implementatietraject van VRRP (waarbij packetloss optrad in sommige VLANs in Ede), een ticket geopened bij Juniper Technical Support. Zij kunnen het probleem niet reproduceren en hebben een stappenplan voor de inproductiename van VRRP
voor ons opgesteld. We zullen deze uitvoeren en nauwkeurig opletten.

Wellicht is het probleem niet reproduceerbaar (en was er de vorige keer een configuratiefout). We zullen hiervan verslag uitbrengen.

— Impact op dienstverlening —
Verwachte impact op klanten (ergens tussen 03.30 en 04.30):
* DSL verbindingen gaan 2 minuten down,
* Klanten op de Sara switch gaan 2 minuten down,
* Klanten op de (alp1) Ede switch gaan 2 minuten down,
dit alles tijdens het rebooten van de respectievelijke switches.

— VRRP (her)configuratie —
Er is een mogelijk probleem met de VRRP implementatie op onze Juniper gigabit ethernet PICs. Hiervoor hebben we een testscenario uitgewerkt en dit zullen we vannacht rond 03.00 testen. Het kan zijn dat het probleem concreet wordt
en een Juniper crasht. In dit geval kunnen we een beroep doen op ons servicecontract met Imtech. We hopen natuurlijk dat de configuratie zoals we hem willen hebben gewoon werkt.

— Verhuizing v-dns2 van jun1.kelvin naar jun2.kelvin —
Ook zullen we het VLAN waarin onze tweede name- en timeserver staat, verplaatsen naar een andere Juniper. Dit zal van pas komen als de eerste Juniper mocht komen uit te vallen. De onderbreking zal enkele minuten zijn.

Om 03.00 begint het onderhoudsvenster. Rond 03.45 zullen we de servers in het v-dns2 VLAN (nsauth2.bit.nl, ntp2.bit.nl en nscache2.bit.nl) omzetten naar een andere Juniper en rond 04.00 zullen we het werk afsluiten.

Er is geen verwachtte impact op klanten. Onze DSL verbindingen zullen te allen tijde up blijven. De inbellers en colocatie VLANs in Ede kunnen mogelijk kortstondig (5 a 10 minuten) worden onderbroken.

Helaas is de configuratiefout wederom opgetreden waardoor deze ochtend om 10.45 de Juniper router in Telecity2 crashte. Van Juniper hebben we inmiddels vernomen dat een software upgrade van de router deze fout oplost. We zullen zo spoedig mogelijk een upgrade inplannen, waardoor het configureren in het vervolg geen negatieve invloed zal hebben op de stabiliteit van de router. De overige routers draaien allen reeds deze nieuwe versie, waardoor geen fout optrad bij het configureren van die routers.

Vanavond zullen we onze backup router in de AMS-IX site Sara (in de Watergraafsmeer) vervangen door een Juniper M5. Tevens zullen we onze connectie naar AMS-IX upgraden van 100Mbps naar 1Gbps.

De router op Sara wordt uitsluitend gebruikt als backup, mocht onze primaire router op Telecity2 uitvallen. Hierdoor vormt het geen probleem om de machine uit productie te halen en zullen er geen klanten hinder ondervinden van dit onderhoud.

Het resultaat van deze upgrade is een ring van drie Juniper routers die onderling met gigabit zijn verbonden. De totale uitgaande capaciteit is nu 2x 1Gbps naar AMS-IX en 3x 100Mbps naar de transitproviders.

Recentelijk is gebleken dat de Riverstone routers die we vorig jaar in productie genomen hebben, onder hoge belasting niet optimaal blijven presteren. Door het SQL Slammer virus, afgelopen maand, raakten de routers overbelast, waardoor enige serviceonderbreking veroorzaakt werd.

Volgende week, in de nacht van dinsdag op woensdag (dus de nacht van 18 op 19 maart), hebben we derhalve een onderhoud ingeplanned om deze routers uit productie te nemen. We zullen dan de Juniper routers gebruiken die we ook in de core van ons netwerk hebben ingezet. Van deze Juniper routers is reeds gebleken dat ze onder de meest harde omstandigheden naar behoren blijven preseteren.

We zullen ’s nachts tussen 03.00 en 06.00 het verkeer overzetten van de Riverstones naar de Juniper routers, waardoor de connectiviteit in Ede enkele malen onderbroken wordt. De Riverstones gaan terug naar de fabrikant.