Behoorlijke netwerkstoring- [11/01/2012]

Ondanks grote inspanningen de eigen 'winkel' op orde te hebben, èn ingeval van storingen de juiste 'vangnetten' snel te kunnen spannen, blijkt maar weer dat wij ook op onze beurt weer afhankelijk zijn. In dit geval van het datacentrum waar de webservers zijn ondergebracht. En dat datacentrum is op zijn beurt weer afhankelijk van netwerkpartijen.

Vannacht was er een flinke netwerk storing waardoor grote delen van het internet, en daardoor ook vele websites, uren onbereikbaar waren. Dit is geweest vanaf rond half 12 gisteravond tot een uur of 4 vanochtend.

Een troost is dat dit alles op een incourant tijdstip buiten kantoortijden gebeurde. Inmiddels zijn alle diensten weer hervat, maar het blijft natuurlijk vervelend. Hoewel e.e.a. geheel buiten onze eigen invloedssfeer is, bieden wij u onze excuses aan als u hiervan vannacht last heeft ondervonden.

Hieronder de melding van ons datacenter, voor als u meer technisch geïnteresseerd zou zijn in de oorzaak van het probleem. Stelt u prijs op verdere informatie, als wij die ontvangen, geef dat dan even aan.

Geachte heer/mevrouw,

Afgelopen avond/nacht is er een grote netwerkstoring geweest. Allereerst onze excuses voor de klanten die hier last van gehad hebben.e oorzaak (zoals we die nu kunnen zien) ligt bij een maintenance moment wat 1 van onze fiber leveranciers had aangekondigd. In dit maintenance zouden er wel fibers van ons down gaan, zoals vaker bij onderhoud gebeurd. Vanwege onze redundant opstelling, heeft u hier normaal geen last van. Deze situatie was anders, omdat wij niet waren ingelicht dat een bepaald pad ook in maintenance ging. Dit pad vormde de redundancy die we normaal nodig hebben.
Hierdoor kregen we 2 losstaande netwerken. euNetworks en Dataplace, NIKHEF, Telecity3.
Omdat de vezels op dit pad geheel verplaatst moesten worden naar een ander traject, was het niet mogelijk om onze verbindingen snel te herstellen. We hebben toen een bypass aangelegd, waardoor de 2 losstaande netwerken elkaar weer konden zien. Omdat dit een noodgreep was, heeft deze oplossing helaas veel tijd gekost.

We gaan dit uiteraard tot in detail uitzoeken, intern bespreken en bespreken met onze leveranciers.
Hierover ontvangt u nog een rapportage.