La Fibre
Forum : => Ain (01) => La Fibre par département => RESO-LIAin (01 - SIEA) => Discussion démarrée par: vivien le 30 juin 2012 à 17:24:13
-
Le réseau FTTH du SIEA est-il sécurisé ?
On est en droit de se poser la question aprés une panne de tous les FAI sur l’ensemble de département a cause d'une simple coupure EDF sur le POP de St-Genis-Pouilly
Les groupes électrogènes n'ont pas démarrés :
Nos équipes techniques sur site on découvert les onduleurs DOWN. Pas de bypass sur la génératrice ou sur EDF. Le circuit ondulé était donc éteint.
Malheureusement pour K-Net, certains équipements de cœur étaient alimentés sur le courant ondulé fournit par le SIEA, d'autres en double attachement
sur nos propres onduleurs et sur le circuit du SIEA.
Nous avons passé ces équipements sur notre infra électrique en attendant la réception dans les prochaines semaines des nouveaux CORE switchs
disposant d'une double alimentation.
Le temps de la stabilisation, j'ai temporairement éteint l'interconnexion avec Lyon et laissé le trafic naturellement s'orienter vers Suisse (CIXP et Level3).
Certains équipements serveurs par contre n'ont pas redémarré immédiatement. Par chance nous n'avons perdu qu'un seul disque dans la bataille.
Par malchance par contre, les équipements de collecte du SIEA étant positionné sur le circuit ondulé incriminé, nous avons de fait perdu les collectes jusqu'à ré-allumage du circuit électrique.
Ce qui me choque n'est pas la coupure électrique au POP de St-Genis-Pouilly (tous les datacenter subissent des coupures seul la fréquence de ces coupure change) mais que cela entraîne une coupure totale pour l'ensemble des FAI.
L’architecture du RESO-LIAin :
Salle de contrôle
3 POP (Cisco ASR 9010)
artères (144 à 288 fibres)
1500 NRO (Cisco, Huawai, ECI, Alcatel, Nortel)
collecte (2 fibres par abonné)
60'000 CPE optique
Cf post Pays de Gex touché par des problèmes électriques (https://lafibre.info/incidents-reso-liain/pays-de-gex-touche-par-des-problemes-electriques/) (non accessible pour ceux qui sont identifiés comme abonnés a un FAI hors RESO-LIAin mais consultable si vous vous déconnectez - Il est également possible de me demander l’accès a la section)
Logiquement on s'attend a ce que les NRO soient chaînés et connecté en double attache sur 2 POP. Si on perd un POP ou une fibre se coupe, aucun impact n'est a déploré dans les deux cas :
- Coupure du fibre entre deux NRO => le trafic de chaque NRO passe le seul POP visible
- Perte du POP => tout le trafic bascule sur l'autre POP
Dans le graphe du réseau K-Net, on observe deux liens de collecte. Pour moi chaque lien permettait de joindre un POP. La perte du POP de St-Genis-Pouilly aurait du permettre au trafic de passer par le second lien (sous réserve d'avoir des serveurs DNS sur deux sites distinct).
Architecture IP du réseau K-Net :
(https://lafibre.info/images/k-net/201112_graphe_k-net_weathermap.png)
Que se passait-il en cas d'accident très grave au POP de St-Genis-Pouilly ? (incendie, inondation, ensevelie sous une coulée de boue, tremblement de terre,...)
Le département sera coupé d'internet un mois le temps de mettre en place une solution provisoire ?
Quelques graphes pour monter l'étendue de l'incident de ce matin :
K-Net sur Cormoranche-sur-Saone :
(https://lafibre.info/images/k-net/201206_k-net_Cormoranche-sur-Saone.png)
Adeli sur Cormoz :
(https://lafibre.info/images/adeli/201206_adeli_cormoz.png)
Tel&Go sur Arbent :
(https://lafibre.info/images/telandgo/201206_tel_and_go_Arbent.png)
Wibox sur Divonne-les-Bains :
(https://lafibre.info/images/wibox/201206_wibox_Divonne-les-Bains.png)
Wibox n'est toujours pas reparti... (dans d'autre commune ou j'ai des abonnés Wibox et K-Net, l'abonné K-Net est repartis mais pas l'abonné Wibox)
-
Kiwi fibre optique aussi était impacté : Graphe d'un client sur Certines :
(https://lafibre.info/images/kiwi/201206_kiwi_Certines.png)
Kiwi fibre optique se démarque par un ping plus important depuis Lyon, Kiwi ne peerant pas sur Lyon ou Genève.
Maintenant ce qui est encore plus étonnant, c'est que l'incident au POP de St-Genis-Pouilly à eu des impacts sur d'autres DSP ou Kiwi fibre optique est présent.
La Kiwi box de Jbraud, sur le réseau Celieno (28) voit son ping augmenter pendant l'incident au POP de St-Genis-Pouilly :
(https://lafibre.info/images/kiwi/201206_kiwi_Jbraud.png)
-
Chez Wibox, la panne dure...
Graphe d'un abonné Wibox sur Cormoranche-sur-Saône (le graphe d'un abonné K-Net dans cette même commune est bien reparti)
(https://lafibre.info/images/wibox/201206_wibox_cormoranche-sur-saone.png)
-
Le groupe électrogène a bien démarré.
Ce qui a mit le circuit ondulé HS est certainement du à une surtension qui a fait sauté les disjoncteur des onduleurs.
Pour le moment le FTTH du département de l'Ain passe uniquement par St-Genis, le POP de Bourg-en-Bresse ayant été mise en service cette année, les procédures de basculement automatiques en cas de perte du POP de St-Genis n'ont pas encore été programmé.
La zone pilote doit être reprise dans son ensemble pour continuer à fonctionner sans le POP de St-Genis.
Que le SIEA est sous-estimé l'impacte de l'alimentation électrique sur ces installations ne fait plus de doute à mes yeux.
Depuis la panne de Janvier, un second réseau électrique a été déployé dans le POP de St-Genis.
Nous avons changé la majorité des serveurs pour avoir une double alimentation. Il nous reste à changer 3 switch, un serveur de log et un serveur de supervision pour avoir l'ensemble des installations en double alimentation.
Les switch ont été commandé fin mai et devrait arriver mi-juillet. Nous allons migrer les grands comptes sur des FON pour passer à travers du réseau sans passer par un équipement actif du SIEA et nous mettre à l'abris d'une défaillance électrique sur le réseau Ethernet actif.
Du coté du SIEA, les serveurs sont tous en alimentation simple. En cas de panne de courant, ils perdront la supervision, les serveur radius qui permettent l'accès aux équipements, les serveurs IPTV, les serveurs DHCP des CPE optiques.
-
Les switch ont été commandé fin mai et devrait arriver mi-juillet.
Ca fait un peu long comme délai, non? Ce sont des switch spéciaux, qui ne sont pas en stock?
Leon.
-
Il existe des "prise multiples" (le terme n'est pas bon) double alimenté qui savent basculer d'une alimentation sur l'autre en cas de panne afin de protéger des équipements muni d'une simple alimentation.
Demande a Lionel, le serveur de LaFibre.info, un premier prix de Dell (R210 II) est bien sur mono-alimentation mais relié sur ce type de prise multiple.
Maintenant dans le cas d'une installation entièrement sécurisée, ce qui sera le cas dans le futur si j'ai bien compris, la double alimentation des switch/ routeurs n'est pas du tout nécessaire (c'est même un luxe).
La Fibre optique noire pour passer à travers du réseau sans passer par un équipement actif du SIEA c'est très bien si la fibre primaire et celle de secours empruntent des chemins différents. Sinon un coup de pelleteuse et tout est dans le noir. L'hébergeur du site du ministère de l'Intérieur en a fait l'expérience en restant toute une journée hors ligne => Une coupure géante de fibre optique à Vélizy (78) coupe l’accès internet d'une centaine de milliers de personnes dans l'Ouest parisien (https://lafibre.info/yvelines/coupure-geante-de-fibre-optique-a-velizy-78/). Au moins 3 FAI étaient concernés par cette coupure : SFR et Bouygues Telecom avaient une boucle sécurisée et l’impact client fut null. Free avait une boucle "ouverte" et ses clients sur deux départements ont été coupés toute la journée.
-
Maintenant dans le cas d'une installation entièrement sécurisée, ce qui sera le cas dans le futur si j'ai bien compris, la double alimentation des switch/ routeurs n'est pas du tout nécessaire (c'est même un luxe).
Pas trop d'accord avec ça. La double alimentation n'est pas un luxe. C'est en standard sur beaucoup de produits "réseaux" : switches et routeurs. Je parle bien sur des "équipements de coeur". Même de petits whitches 1 ou 2u proposent la double alim, avec parfois une 2ieme alim externe. A mon avis, le coût de la double alimentation est moins élevé que le coût des chemins séparés pour la fibre (par exemple). Alors on aurait tort de s'en passer!
Dans les réseaux, il faut éviter autant que possible de perdre un équipement, et de basculer sur d'autres routes. Ca ne fonctionne pas toujours comme prévu.
Leon.
-
Attention Léon, de nombreux équipements ont deux alim, ce qui ne signifie pas qu'ils peuvent continuer a fonctionner avec une seule alimentation.
Cisco propose des alimentations de puissance différentes et certains mettent deux alimentation de puissance insuffisante pour alimenter l'ensemble des cartes en cas de perte d'une alimentation (concrètement tu perds des cartes quand tu perd une alimentation). Sur ce 6509 de Free je ne suis pas sur qu'il supporte la perte d'une alimentation :
(https://lafibre.info/images/free/200904_free_bzn_6k_2.jpg)
Maintenant ce que je reproche a la sécurisation par double alimentation, c'est de ne couvrir qu'un faible cas de coupure de service. Assez régulièrement les coupures entraînent une coupure des deux alimentations (La coupure d'avril 2012 sur TH2 impactait les deux circuits d'alimentation (https://lafibre.info/datacenter/incident-electrique-sur-th2/) d’après les témoignages)
J'ai déjà vu une mise a jour Cisco IOS cramer les deux cartes contrôleur d'un 6509 (obligation d'aller sur site les changer).
Pour toutes ces raisons, je pense qu'il est préférable de sécuriser via des boucles reliée sur deux sites plutôt que de multiplier a grand frais la sécurité sur un unique site. Maintenant faire les deux c'est mieux :D
Par exemple la climatisation est un point essentiel pour assurer la continuité d'un POP.
Déjà vécu : L’électronique qui coordonne l'ensemble des clim d'un site ultra sécurisé s'est bloqué => +1°c toutes les 6 minutes. L'astreinte arrive sur place après 2h de coupure, il fait 42°c certaines machines n’apprécient pas. Depuis les clim sont toutes indépendantes pour éviter ce type de problème.
Ce FAI a beau avoir mis double circuit électrique, double circuit de climatisation, double arrivée fibre optique, double carte contrôleur, double circuit d'extinction d'incendie, il a intérêt à avoir opté pour une sécurisation via un second site, sinon il est parti pour plusieurs semaines de coupure :
(https://lafibre.info/images/bistro/201008_watercooling_datacenter.jpg)
-
Cisco propose des alimentations de puissance différentes et certains mettent deux alimentation de puissance insuffisante pour alimenter l'ensemble des cartes en cas de perte d'une alimentation (concrètement tu perds des cartes quand tu perd une alimentation).
[...]
Maintenant ce que je reproche a la sécurisation par double alimentation, c'est de ne couvrir qu'un faible cas de coupure de service. Assez régulièrement les coupures entraînent une coupure des deux alimentations
Vivien,
En gros, ce que tu dis:
Tu constates que certains opérateurs de réseau utilisent des alimentation double (ou triple) qui ne garantisent pas une redondance
Tu constates que certains sites ont des "single point of failure" sur leur double réseau d'alimentation
Tu en conclus que la double alimentation est un luxe pas forcèment utile.
Désolé, mais je ne te suis pas. Ca n'est pas parce que certains opérateurs de réseau font mal leur boulot qu'il faut les imiter. Ca n'est pas parce que certains opérateurs de datacenter / POP télécom ont une architecture électrique foireuse qu'il faut abandonner la double alimentation.
Pour toutes ces raisons, je pense qu'il est préférable de sécuriser via des boucles reliée sur deux sites plutôt que de multiplier a grand frais la sécurité sur un unique site. Maintenant faire les deux c'est mieux
Oui, on est d'accord, faire les 2, c'est mieux. Je dirais même que c'est indispensable dès que tu touches à des équipements qui peuvent impacter des centaines/milliers de clients.
Leon.
-
Nous sommes d'accord de doubler les routes, encore faut-il que se soit économiquement réalisable.
- dans l'Ain, au départ du POP de St-Genis-Pouilly vers le CIXP et Lyonix on est OK, mais sur les 24 opérateurs seul Adeli et K-net ont fait l'effort de doubler les routes. ça n’incite pas le SIEA a travailler sur la mise en service du 2nd POP.
- Sur Genève, SIG ont mit les 2 POP dans GV1 Equinix et GV2 Equinix, nous connectons sur place GV1 et passerons GV2 via le CIXP quand le 2nd POP sera pleinement opérationnel.
- sur 4CF (Deauville), 2 POP sur une seule fibre pour aller à TH2, en attendant la mise en service du Calvados et la possibilité de s'appuyer sur les datacenter de SFR et Cogent, nous aurons un point de défaillance unique.
- sur Dunkerque, liaison unique vers TH2.
- Jura, liaison unique vers TH2 en attendant l'interconnexion au niveau d'Arbent des réseaux du Jura et de l'Ain.
Les RIP sont des réseaux de petites tailles et/ou en cours de construction qui en attendant leurs déploiements finals ont des points de défaillance unique. Les opérateurs d'opérateurs ont les équipements en double (ou en triple comme le SIEA), mais nous n'avons pas les mêmes moyens. Nous avons opté pour un switch en spare sur chaque RIP, en cas de défaillance d'un routeur de GIX, le trafic s'écoulera naturellement sur les autres GIX.
Nous avons doublé les alimentations (entre 200 et 500€ par équipement) pour palier les pertes d'alimentation et aux nécessités de déplacer un cable (très pratique pour passer sur les ePDU ou les changer de circuit électrique).
D'une manière générale, nous nous appuyons sur notre équipe qui est comme vous avez pu le voir encore une fois hier animée d'une conscience professionnelle assez développé.
Après Damien d'astreinte, nous avons eu Arnaud, Guillaume, Anthony et moi même qui sommes intervenu pour que la panne est un impact le plus faible sur les abonnés K-net. Nous avons à déplorer 2h15 minutes de coupure générale et 15h d'intervention.
Nous allons continuer à apporter notre expérience et collaborer avec les différentes RIP pour trouver des solutions applicables au FTTH sans que l'abonnement passe à 100€/mois.
-
Mon message ne s'adresse pas a K-Net (qui dispose d'un réseau fortement redondant pour le nombre de client desservis) mais au SIEA qui devrait avoir fait une sécurisation sur deux POP assez rapidement pour espérer qu'un gros FAI vienne sur le réseau. Même pour du peering privé, Orange exige un peering sur deux sites distincts pour assurer la redondance. Il me semble donc inconcevable de démarcher Orange et de leur proposer qu'une collecte sur St-Genis-Pouilly.
Le SIEA est connecté à LyonIX et au CIXP. Cela nécessite deux fibres distinct. Je pense qu'il aurait été possible pour pas beaucoup plus cher de relier un POP à LyonIX et un second au CIXP. Comme cela, les fai connecté des deux coté, comme K-Net et Adeli auraient une sécurisation.
Aujourd'hui bien sur cela a un coût non négligeable si il faut tirer une troisième fibre pour connecter le second POP.
Mon idée est plus de faire au moindre coût avec une alimentation électrique, une fibre vers un GIX par POP et non sécuriser au maximum un unique POP. Quand le réseau aura 20 000 abonnés, il sera effectivement possible de muscler la sécurisation comme ce que vous faite actuellement, mais pour moi cela viens après.
-
les fibres sont posées, les équipements installés, ce qu'il manque c'est la configuration du toute, j'ai lu un communiqué de presse qui indiquait que le SIEA avait fait appel à un sous-traitant.
http://eurocomputer.fr/articles/NextiraOne_et_le_SIEA_s_allient_pour_relier_l_Ain_a_l_Internet_Tres_Haut_Debit.htm (http://eurocomputer.fr/articles/NextiraOne_et_le_SIEA_s_allient_pour_relier_l_Ain_a_l_Internet_Tres_Haut_Debit.htm)
Je ne suis pas dans les petits papiers du SIEA pour connaitre les points de blocage. Je sais que la volonté politique est là et que les finances suivent, pour le reste nous sommes dans l'attente.
Vous avez des retours de Nextiraone ?
-
Il suffit de changer quelques mots a cet article de ZD Net pour l'adapter a la situation de l'Ain...
La date est bonne, là aussi c'est une coupure électrique avec une coupure du système de secours. Même la conclusion est applicable au réseau de l'Ain "de répartir si possible sa charge sur plusieurs centres de traitements et non sur un centre unique".
La version originale :
Si vous avez cherché a prendre des photos avec votre smartphone pour les partager sur Instagram le 30 Juin vous avez peut être pu constater la panne du service pendant plusieurs heures. Et si de dépit vous cous êtes rabattu sur Pinterest pour les partager avec les photos vintages de votre collection de vieux PCs, vous avez peut être eu le même problème.
Quel rapport y a t-il entre Instagram et Pinterest, et aussi Netflix (video à la demande) et Heroku ("Java on the cloud") qui ont été victimes de problèmes d'accès a leurs serveurs ce 30 Juin?
Et bien ce sont toutes des sociétés en forte croissance qui ont besoin d'une grande flexibilité pour provisionner leur énergie informatique et se sont donc tourné naturellement vers le cloud pour cela. Celui d'Amazon en l'occurence, qui héberge une partie de leur capacité dans son centre de données à Ashburn, en Virginie (Etats Unis). Une région où ce 30 Juin de puissantes tempêtes on coupé l'alimentation de près d'un million de citoyens (vents à 80 miles par heure) et malheureusement aussi pris des vies humaines.
Ce datacenter a donc été privé d'électricité pendant six heures provoquant les déboires en série pour ces sociétés. Des orages qui ont coupé l’électricité du réseau de l'opérateur local, mais plus grave du réseau de secours d'Amazon. Une panne dont la probabilité est très très faible... mais qui s'est produite!
Elle nous démontre de façon pratique ce qu'est le "SCOF", ce Single Cloud of Failure, ce point central qui peut entrainer le dysfonctionnement d'une partie des services de l'internet (par analogie avec le SPOF - le célèbre Single Point of Failure)
Qu'est-ce qu'il faut en retenir :
- que les pannes arrivent, même celles qui sont improbables, et donc que le Cloud n'affranchi pas la DSI d'avoir un PCO/PRA, Plan de Continuité des Opérations et Plan de Reprise des Activités. A minima celui d'informer les clients avec des réseaux alternatifs comme Twitter pour les activités B2C.
- de répartir si possible sa charge sur plusieurs centres de traitements et non sur un centre unique. C'est ce que propose aussi Amazon avec son "Elastic Load Balancing" mais visiblement il n'a pas fonctionné ou n'a pas été utilisé ou bien paramétré par toutes ces sociétés.
La bonne nouvelle c'est quand même que les délais de remise en route ont été inférieurs aux 6 heures d’interruption grâce à la bascule sur d'autre centres pour la plupart des grands services. Ce qui amène aussi a un autre enseignement corolaire des deux autres, ne retenez pas un prestataire qui n'aurait qu'un seul datacenter.
Et pour terminer, si ce 1er Juillet le signal du Minitel n'a toujours pas été rétabli chez vous et que vous n'arrivez pas à accéder au 3615, c'est normal. Et ce n'est pas lié à la panne du Cloud d'Amazon, le service s'est éteint le même jour mais n'a pas eu besoin d'un orage pour cela. Il a juste été déconnecté en fin de vie (#RIPMinitel).
Source : ZDNet (http://www.zdnet.fr/blogs/green-si/connaissez-le-scof-le-single-cloud-of-failure-qui-a-terrasse-instagram-39773623.htm), publié le dimanche 01 juillet 2012 par Frédéric Charles (responsable de la stratégie et de la gouvernance du SI dans un grand groupe)
-
Nos équipes techniques sur site on découvert les onduleurs DOWN.
J'aurais oublié de relancer wibox ??
D'une manière générale, nous nous appuyons sur notre équipe qui est comme vous avez pu le voir encore une fois hier animée d'une conscience professionnelle assez développé.
Après Damien d'astreinte, nous avons eu Arnaud, Guillaume, Anthony et moi même qui sommes intervenu pour que la panne est un impact le plus faible sur les abonnés K-net. Nous avons à déplorer 2h15 minutes de coupure générale et 15h d'intervention.
c'est pas vraiment un samedi comme les autres, je viens de passer 4h au POP pour remettre en marche les équipements du SIEA, je vais demander aux différents FAI de me payer mes interventions
Félicitations à toute l'équipe !
Si je comprends bien c'est K-Net qui est intervenu avant le SIEA sur le POP et qui a permis à l'ensemble des FAI (Wibox excepté) de repartir ?
Le SIEA devrait vous déléguer la supervision du réseau, cela leur coûterait peut être moins cher pour une plus grande efficacité.
Je vais vous raconter ce qu'il se passe dans les plus grande société qui sous-traite les interventions sur site :
Pour ceux qui connaissent TH2, vous avez peut-être remarqué une baie dans l'espace mutualisé du 1er étage avec deux routeurs 6509 (ils sont là depuis 9 ans) où le panneau arrière de la baie (non troué) a été retiré pour permettre la ventilation. Le bandeau d’alimentation électrique des 6509 est accessible à tous. Un jour un 6509 a été débranché par un inconnu. IBM qui assure les interventions sur site arrive sur place et indique que la panne est liée à une prise débranchée, mais refuse de brancher la prise car les interventions électriques ne sont pas dans le contrat (ils sont habilités à changer les cartes, pas à brancher une prise 220v). Il faudra plusieurs jours pour trouver une personne habilitée à brancher une simple prise 220v. Heureusement avec la sécurisation il n'y avait pas d’impact client.
Bref, je salue l'agilité et la transparence de l'équipe K-Net.
-
Vivien, les Cisco peuvent fonctionner avec une seule alimentation, chez nous on change les alimentations sans éteindre les équipements, c'est très important.
-
Vivien, les Cisco peuvent fonctionner avec une seule alimentation, chez nous on change les alimentations sans éteindre les équipements, c'est très important.
Tous les équipements haute disponibilité le font, mais faut aussi que celui qui a fait le design aie un minimum de notions, car des Cisco ou les 2 alims était branchés sur le même breaker, sur la même phase, et quand une alim fait disjoncter, c'est le router qui tombe, et j'en ai vu plus d'un branché comme ça...
Dans tous les cas, merci au team de support K-Net, qui a vraiment fait un super boulot pour minimiser l'impact sur les utilisateurs.
-
Tous les équipements haute disponibilité le font, mais faut aussi que celui qui a fait le design aie un minimum de notions, car des Cisco ou les 2 alims était branchés sur le même breaker, sur la même phase, et quand une alim fait disjoncter, c'est le router qui tombe, et j'en ai vu plus d'un branché comme ça...
Dans tous les cas, merci au team de support K-Net, qui a vraiment fait un super boulot pour minimiser l'impact sur les utilisateurs.
Bonjour, à tous, pour nous mise à part la perte des clients uniquement ramené coté plaque de Saint Genis, on avait encore du trafic :).
Bon en plus de cela il y a eu un pbm vers Giron (cela devient pénible a gérer ces problèmes...)
Notre merveilleux datacenter (maxnod.com) était en pleine forme et nos serveurs aussi.
La différence fondamentale c'est que nous avons une boucle optique indépendante des actifs du SIEA et qu'on alimente nous même!
-
Grosse plus-value pour Adeli qui propose une vrai redondance (en attendant la gestion du POP de Bourg-En-Bresse).
En tout cas, K-Net et Adeli semblent partis pour devenir de plus en plus indépendants vis-à-vis du Siea.
-
Bonjour,
abonné Adeli, j'étais coupé sur toute la durée de la panne, on ne bénéficie pas de cette redondance à Montluel ?
A+
JF
-
Bonjour, à tous, pour nous mise à part la perte des clients uniquement ramené coté plaque de Saint Genis, on avait encore du trafic :).
A moins que le SIEA ne sache te livrer les plaques 1-6 ailleurs qu'a SGP (ce qu'ils nous assurent ne pas savoir faire) ça concerne donc bien tous les abonnés FTTH non ?