La Fibre
Datacenter et équipements réseaux => Datacenter => 
Telehouse => Discussion démarrée par: BadMax le 19 septembre 2013 à 11:02:42
-
Coupure ressentie entre 10h15 et 10h20 sur mon transit...
Le temps d'en chercher l'origine, je jette un oeil sur Twitter et cherche #TH2 : apparemment une panne électrique s'est produite.
Des news ?
-
Coupure au 2nd, peut-être au 3ème. Sur au moins un feed. T'as un thread sur FRnOG.
Tout va bien au premier (pour changer).
Stats de France-IX, 20% de drop :
-
J'ai eu un peu plus de perte (sans doute le temps de la reconvergence BGP + les opérateurs uniquement à TH2).
-
J'ai eu un peu plus de perte
Yep, mais si beaucoup de sites sont derrière le même transitaire depuis ton réseau, ça va faire une grosse baisse pour un seul opérateur tombé ;)
-
Apparemment NeoTelecoms a pris cher pendant la coupure.
-
Des "gros" opérateurs - et de la vue que j'ai - c'est le seul qui est bien tombé oui.
-
LOL:
Raphael Nicoud @rnicoud 3 min
Com officielle #TH2 "Nos équipes sont mobilisées pour identifier la cause du problème, nous vous tiendrons informés dès que possible." 2/2
Raphael Nicoud @rnicoud 4 min
Com officielle #TH2 : "coupure électrique est survenue à 9h48 au niveau du deuxième étage zone Ouest. Le courant a été rétabli à 9h57." 1/2
Le 9h48 en effet j'ai vu des perturbations. Mais alors c'était quoi ce bordel à partir de 10h15 ?!
-
Des batteries vides ?
Puis une fois le courant rétabli, faut faire tout remonter...
Neo Telecoms (@NeoTelecoms) (https://twitter.com/NeoTelecoms/status/380621835010064384)
Bonjour à tous, Incident Electrique TH2 - Retour à la normale chez nous depuis 10h46 - Infos envoyées par email aux clients concernés
-
C'est moi où ça a recommencé ?!?
-
Ça a recommencé, un routeur qui était instable a été redémarré.
-
Nous n'avons pas noté de coupure sur TH2. Par contre perte du trafic sur le PNI avec NeoTelecoms, pourtant monté sur Interxion2 pour éviter de tout centraliser sur TH2.
Ce qui est étonnant c'est que Adeli n'a pas perdu le lien avec le serveur SpeedTest de NeoTelecoms, lors de la coupure de 10h00
=> https://lafibre.info/dns/smokeping.cgi?target=speedtest
-
Nous n'avons pas noté de coupure sur TH2. Par contre perte du trafic sur le PNI avec NeoTelecoms, pourtant monté sur Interxion2 pour éviter de tout centraliser sur TH2.
Vu sur FRNoG
Le feu éteint, on explique un peu plus :
Suite à la coupure électrique partielle à TH2, les 2 routeurs de coeur
fonctionnaient sur 3 pattes :
. 1 chassis a completement reloadé.
. 1 chassis a éteint 50% des slots mais la RE a continué.
Lorsque le courant est revenu, certains slots n'ont pas redémarré seuls.
Pourquoi ... mystère encore à ce jour.
Un reload en cli a permis de tout relancer .... pendant 1 heure.
Vers 11h45, d'autres trucs sont partis en sucette au niveau de la commutation.
Interfaces UP mais genre trou noir .... dont le trafic de notre IT, téléphonie, DMZ, ...
On a pris la décision de reload completement le chassis.
Depuis ça marche mieux :-)
Voila les faits.
Si vous voulez d'autres explications, c'est demain.
On paye un coup. Je mets un ciré. Amenez vos tomates :-)
Vincent.
-
Nous n'avons pas noté de coupure sur TH2. Par contre perte du trafic sur le PNI avec NeoTelecoms, pourtant monté sur Interxion2 pour éviter de tout centraliser sur TH2.
Ce qui est étonnant c'est que Adeli n'a pas perdu le lien avec le serveur SpeedTest de NeoTelecoms, lors de la coupure de 10h00
=> https://lafibre.info/dns/smokeping.cgi?target=speedtest
Pareil, j'ai vu le peering avec Neo sauter.
Pour Adeli, c'est pas parce que ils sont clients de Neo ?
-
Le feu éteint, on explique un peu plus :
Suite à la coupure électrique partielle à TH2, les 2 routeurs de coeur
fonctionnaient sur 3 pattes :
. 1 chassis a completement reloadé.
. 1 chassis a éteint 50% des slots mais la RE a continué.
Lorsque le courant est revenu, certains slots n'ont pas redémarré seuls.
Pourquoi ... mystère encore à ce jour.
Un reload en cli a permis de tout relancer .... pendant 1 heure.
Vers 11h45, d'autres trucs sont partis en sucette au niveau de la commutation.
Interfaces UP mais genre trou noir .... dont le trafic de notre IT, téléphonie, DMZ, ...
On a pris la décision de reload completement le chassis.
Depuis ça marche mieux :-)
Voila les faits.
Si vous voulez d'autres explications, c'est demain.
On paye un coup. Je mets un ciré. Amenez vos tomates :-)
Vincent.
C'est quoi déjà la marque de ces routeurs en carton ? (ne pas répondre, je connais la réponse...)
En attendant, vache l'impact de Neo sur l'Internet FR.
-
Nous n'avons pas noté de coupure sur TH2. Par contre perte du trafic sur le PNI avec NeoTelecoms, pourtant monté sur Interxion2 pour éviter de tout centraliser sur TH2.
Bon déjà vous n'avez subit que la première coupure, c'est toujours ça ^^
-
Concernant Neo, la vraie question (hormis le PNI qui est tombé aussi sur InterXion, pas bien) c'est est-ce que ça a impacté leur réseau pour les gens qui l'ont ailleurs que sur TH2 ?
Parce que bon un DC qui tombe, à moins d'être très gros et d'avoir pu mettre des onduleurs dans sa salle, tu peux pas trop en vouloir à l'opérateur si les services sur place tombent, mais si ça impacte le reste de leur réseau sur les autres DC (plus longtemps qu'un reroutage), c'est embêtant.
Enfin bon de toute façon sur TH2, la bonne chose c'est d'être au 3eme ou au RDC quoi, surtout pas au 1er ou au 2eme...
-
Concernant Neo, la vraie question (hormis le PNI qui est tombé aussi sur InterXion, pas bien) c'est est-ce que ça a impacté leur réseau pour les gens qui l'ont ailleurs que sur TH2 ?
Sur FRnOG, une personne de Zeop expliquait que Neo continuait d'annoncer les routes et tout, donc pas de re-routage sans intervention humaine (shut) !
Enfin bon de toute façon sur TH2, la bonne chose c'est d'être au 3eme ou au RDC quoi, surtout pas au 1er ou au 2eme...
Semblerait que le 3ème ait été impacté ce matin.
-
En attendant, vache l'impact de Neo sur l'Internet FR.
On peut voir ton graphe lors de la seconde coupure de 8218 ? Parce que la première Neo n'était pas vraiment le seul à tomber donc ça ne veut rien dire.
-
C'est vrai que pour le coup, une telle coupure ça va devenir collector !
Sur la 2ème coupure, j'ai pu tester quelques sites : ça ne passait plus via TH2 mais une fois arrivé à InterXion, ben y'avait pas grand chose derrière !
-
Merci pour le graphe.
C'est vrai que pour le coup, une telle coupure ça va devenir collector !
Oui, encore que globalement ça n'aura eu qu'un impact limité, le seul gros opérateur impacté étant Neo. (après pour les petits ça impacte, bien sur, mais ça se voit moins j'entends)
-
effectivement ça à été un peu le bordel ce matin!:
depuis orange ftth! (ps mon serveur avait +2h de décalage)
-
En fait ce que me surprend c'est les effets de bord de la 2ème coupure : meme si c'est "juste" Neo qui s'est barré au ski, il n'empeche que ça a (de ma fenetre évidemment) débordé sur Equinix (beaucoup) et FranceIX (en partie).
Précision: je me base juste sur les sites web détectés en indispo, les sessions BGP étaient peut-etre UP ou je ne sais dans quel état, d'un point de vue "utilisateur", des sites ne répondaient plus.
-
effectivement ça à été un peu le bordel ce matin!:
depuis orange ftth! (ps mon serveur avait +2h de décalage)
Ca me rassure parce que j'ai aussi vu des perturbations avec OpenTransit (Orange).
-
En fait ce que me surprend c'est les effets de bord de la 2ème coupure : meme si c'est "juste" Neo qui s'est barré au ski, il n'empeche que ça a (de ma fenetre évidemment) débordé sur Equinix (beaucoup) et FranceIX (en partie).
Neo est un gros peer sur ces IX, tous deux présents sur TH2.
D'ailleurs sur FranceIX la seconde coupure me semble moins importante que la première.
-
Sur FRnOG, une personne de Zeop expliquait que Neo continuait d'annoncer les routes et tout, donc pas de re-routage sans intervention humaine (shut) !
Semblerait que le 3ème ait été impacté ce matin.
Pour le 3eme, des gens en font mention sans vraiment l'assurer, ça ressemble plus à une rumeur qu'autre chose pour moi pour le moment, j'ai vu personne que je connaisse tomber au 3eme et ça représente une bonne 10aine d'opérateurs/hébergeurs qui sont restés UP sur plusieurs zones de l'étage.
Pour moi la zone 22 est tombée au 2eme, mais pour le reste, j'ai rien constaté de vérifié.
-
Concernant Neo, la vraie question (hormis le PNI qui est tombé aussi sur InterXion, pas bien) c'est est-ce que ça a impacté leur réseau pour les gens qui l'ont ailleurs que sur TH2 ?
Il n'est pas tombé, mais il n'y avait plus de trafic, c'est visiblement l'incident de TH2 qui a eu des répercussions sur les autres sites.
-
Il n'est pas tombé, mais il n'y avait plus de trafic, c'est visiblement l'incident de TH2 qui a eu des répercussions sur les autres sites.
Ok ça semble cohérent avec les explications, Neo continuait d'annoncer les préfixes sur TH2 mais se retrouvait en mode "black hole" derrière.
-
Pareil, j'ai vu le peering avec Neo sauter.
Pour Adeli, c'est pas parce que ils sont clients de Neo ?
Non Adel n'est pas client Néo mais Ielo qui est un de nos transitaires l'est.