Auteur Sujet: Le réseau FTTH du SIEA est-il sécurisé ? (Lu 12452 fois)

vivien · « **le:** 30 juin 2012 à 17:24:13 »

Le réseau FTTH du SIEA est-il sécurisé ?
On est en droit de se poser la question aprés une panne de tous les FAI sur l’ensemble de département a cause d'une simple coupure EDF sur le POP de St-Genis-Pouilly

Les groupes électrogènes n'ont pas démarrés :

Citation de: arnaud le 30 juin 2012 à 14:46:47

Nos équipes techniques sur site on découvert les onduleurs DOWN. Pas de bypass sur la génératrice ou sur EDF. Le circuit ondulé était donc éteint.

Malheureusement pour K-Net, certains équipements de cœur étaient alimentés sur le courant ondulé fournit par le SIEA, d'autres en double attachement
sur nos propres onduleurs et sur le circuit du SIEA.

Nous avons passé ces équipements sur notre infra électrique en attendant la réception dans les prochaines semaines des nouveaux CORE switchs
disposant d'une double alimentation.

Le temps de la stabilisation, j'ai temporairement éteint l'interconnexion avec Lyon et laissé le trafic naturellement s'orienter vers Suisse (CIXP et Level3).

Certains équipements serveurs par contre n'ont pas redémarré immédiatement. Par chance nous n'avons perdu qu'un seul disque dans la bataille.

Par malchance par contre, les équipements de collecte du SIEA étant positionné sur le circuit ondulé incriminé, nous avons de fait perdu les collectes jusqu'à ré-allumage du circuit électrique.

Ce qui me choque n'est pas la coupure électrique au POP de St-Genis-Pouilly (tous les datacenter subissent des coupures seul la fréquence de ces coupure change) mais que cela entraîne une coupure totale pour l'ensemble des FAI.

L’architecture du RESO-LIAin :

Citation de: K-net le 25 novembre 2011 à 13:30:39

Salle de contrôle
3 POP (Cisco ASR 9010)
artères (144 à 288 fibres)
1500 NRO (Cisco, Huawai, ECI, Alcatel, Nortel)
collecte (2 fibres par abonné)
60'000 CPE optique

Cf post Pays de Gex touché par des problèmes électriques (non accessible pour ceux qui sont identifiés comme abonnés a un FAI hors RESO-LIAin mais consultable si vous vous déconnectez - Il est également possible de me demander l’accès a la section)

Logiquement on s'attend a ce que les NRO soient chaînés et connecté en double attache sur 2 POP. Si on perd un POP ou une fibre se coupe, aucun impact n'est a déploré dans les deux cas :
- Coupure du fibre entre deux NRO => le trafic de chaque NRO passe le seul POP visible
- Perte du POP => tout le trafic bascule sur l'autre POP

Dans le graphe du réseau K-Net, on observe deux liens de collecte. Pour moi chaque lien permettait de joindre un POP. La perte du POP de St-Genis-Pouilly aurait du permettre au trafic de passer par le second lien (sous réserve d'avoir des serveurs DNS sur deux sites distinct).

Architecture IP du réseau K-Net :

Que se passait-il en cas d'accident très grave au POP de St-Genis-Pouilly ? (incendie, inondation, ensevelie sous une coulée de boue, tremblement de terre,...)
Le département sera coupé d'internet un mois le temps de mettre en place une solution provisoire ?

Quelques graphes pour monter l'étendue de l'incident de ce matin :

K-Net sur Cormoranche-sur-Saone :

Adeli sur Cormoz :

Tel&Go sur Arbent :

Wibox sur Divonne-les-Bains :

Wibox n'est toujours pas reparti... (dans d'autre commune ou j'ai des abonnés Wibox et K-Net, l'abonné K-Net est repartis mais pas l'abonné Wibox)

vivien · « **Réponse #1 le:** 30 juin 2012 à 17:47:25 »

Kiwi fibre optique aussi était impacté : Graphe d'un client sur Certines :

Kiwi fibre optique se démarque par un ping plus important depuis Lyon, Kiwi ne peerant pas sur Lyon ou Genève.

Maintenant ce qui est encore plus étonnant, c'est que l'incident au POP de St-Genis-Pouilly à eu des impacts sur d'autres DSP ou Kiwi fibre optique est présent.

La Kiwi box de Jbraud, sur le réseau Celieno (28) voit son ping augmenter pendant l'incident au POP de St-Genis-Pouilly :

vivien · « **Réponse #2 le:** 30 juin 2012 à 20:55:37 »

Chez Wibox, la panne dure...

Graphe d'un abonné Wibox sur Cormoranche-sur-Saône (le graphe d'un abonné K-Net dans cette même commune est bien reparti)

K-net · « **Réponse #3 le:** 30 juin 2012 à 21:45:45 »

Le groupe électrogène a bien démarré.
Ce qui a mit le circuit ondulé HS est certainement du à une surtension qui a fait sauté les disjoncteur des onduleurs.

Pour le moment le FTTH du département de l'Ain passe uniquement par St-Genis, le POP de Bourg-en-Bresse ayant été mise en service cette année, les procédures de basculement automatiques en cas de perte du POP de St-Genis n'ont pas encore été programmé.

La zone pilote doit être reprise dans son ensemble pour continuer à fonctionner sans le POP de St-Genis.

Que le SIEA est sous-estimé l'impacte de l'alimentation électrique sur ces installations ne fait plus de doute à mes yeux.
Depuis la panne de Janvier, un second réseau électrique a été déployé dans le POP de St-Genis.
Nous avons changé la majorité des serveurs pour avoir une double alimentation. Il nous reste à changer 3 switch, un serveur de log et un serveur de supervision pour avoir l'ensemble des installations en double alimentation.
Les switch ont été commandé fin mai et devrait arriver mi-juillet. Nous allons migrer les grands comptes sur des FON pour passer à travers du réseau sans passer par un équipement actif du SIEA et nous mettre à l'abris d'une défaillance électrique sur le réseau Ethernet actif.

Du coté du SIEA, les serveurs sont tous en alimentation simple. En cas de panne de courant, ils perdront la supervision, les serveur radius qui permettent l'accès aux équipements, les serveurs IPTV, les serveurs DHCP des CPE optiques.

Leon · « **Réponse #4 le:** 30 juin 2012 à 22:13:33 »

Citation de: K-net le 30 juin 2012 à 21:45:45

Les switch ont été commandé fin mai et devrait arriver mi-juillet.

Ca fait un peu long comme délai, non? Ce sont des switch spéciaux, qui ne sont pas en stock?

Leon.

vivien · « **Réponse #5 le:** 30 juin 2012 à 22:48:09 »

Il existe des "prise multiples" (le terme n'est pas bon) double alimenté qui savent basculer d'une alimentation sur l'autre en cas de panne afin de protéger des équipements muni d'une simple alimentation.
Demande a Lionel, le serveur de LaFibre.info, un premier prix de Dell (R210 II) est bien sur mono-alimentation mais relié sur ce type de prise multiple.

Maintenant dans le cas d'une installation entièrement sécurisée, ce qui sera le cas dans le futur si j'ai bien compris, la double alimentation des switch/ routeurs n'est pas du tout nécessaire (c'est même un luxe).

La Fibre optique noire pour passer à travers du réseau sans passer par un équipement actif du SIEA c'est très bien si la fibre primaire et celle de secours empruntent des chemins différents. Sinon un coup de pelleteuse et tout est dans le noir. L'hébergeur du site du ministère de l'Intérieur en a fait l'expérience en restant toute une journée hors ligne => Une coupure géante de fibre optique à Vélizy (78) coupe l’accès internet d'une centaine de milliers de personnes dans l'Ouest parisien. Au moins 3 FAI étaient concernés par cette coupure : SFR et Bouygues Telecom avaient une boucle sécurisée et l’impact client fut null. Free avait une boucle "ouverte" et ses clients sur deux départements ont été coupés toute la journée.

Leon · « **Réponse #6 le:** 01 juillet 2012 à 07:59:30 »

Citation de: vivien le 30 juin 2012 à 22:48:09

Maintenant dans le cas d'une installation entièrement sécurisée, ce qui sera le cas dans le futur si j'ai bien compris, la double alimentation des switch/ routeurs n'est pas du tout nécessaire (c'est même un luxe).

Pas trop d'accord avec ça. La double alimentation n'est pas un luxe. C'est en standard sur beaucoup de produits "réseaux" : switches et routeurs. Je parle bien sur des "équipements de coeur". Même de petits whitches 1 ou 2u proposent la double alim, avec parfois une 2ieme alim externe. A mon avis, le coût de la double alimentation est moins élevé que le coût des chemins séparés pour la fibre (par exemple). Alors on aurait tort de s'en passer!

Dans les réseaux, il faut éviter autant que possible de perdre un équipement, et de basculer sur d'autres routes. Ca ne fonctionne pas toujours comme prévu.

Leon.

vivien · « **Réponse #7 le:** 01 juillet 2012 à 09:54:25 »

Attention Léon, de nombreux équipements ont deux alim, ce qui ne signifie pas qu'ils peuvent continuer a fonctionner avec une seule alimentation.

Cisco propose des alimentations de puissance différentes et certains mettent deux alimentation de puissance insuffisante pour alimenter l'ensemble des cartes en cas de perte d'une alimentation (concrètement tu perds des cartes quand tu perd une alimentation). Sur ce 6509 de Free je ne suis pas sur qu'il supporte la perte d'une alimentation :

Maintenant ce que je reproche a la sécurisation par double alimentation, c'est de ne couvrir qu'un faible cas de coupure de service. Assez régulièrement les coupures entraînent une coupure des deux alimentations (La coupure d'avril 2012 sur TH2 impactait les deux circuits d'alimentation d’après les témoignages)

J'ai déjà vu une mise a jour Cisco IOS cramer les deux cartes contrôleur d'un 6509 (obligation d'aller sur site les changer).

Pour toutes ces raisons, je pense qu'il est préférable de sécuriser via des boucles reliée sur deux sites plutôt que de multiplier a grand frais la sécurité sur un unique site. Maintenant faire les deux c'est mieux

Par exemple la climatisation est un point essentiel pour assurer la continuité d'un POP.

Déjà vécu : L’électronique qui coordonne l'ensemble des clim d'un site ultra sécurisé s'est bloqué => +1°c toutes les 6 minutes. L'astreinte arrive sur place après 2h de coupure, il fait 42°c certaines machines n’apprécient pas. Depuis les clim sont toutes indépendantes pour éviter ce type de problème.

Ce FAI a beau avoir mis double circuit électrique, double circuit de climatisation, double arrivée fibre optique, double carte contrôleur, double circuit d'extinction d'incendie, il a intérêt à avoir opté pour une sécurisation via un second site, sinon il est parti pour plusieurs semaines de coupure :

Leon · « **Réponse #8 le:** 01 juillet 2012 à 10:19:47 »

Citation de: vivien le 01 juillet 2012 à 09:54:25

Cisco propose des alimentations de puissance différentes et certains mettent deux alimentation de puissance insuffisante pour alimenter l'ensemble des cartes en cas de perte d'une alimentation (concrètement tu perds des cartes quand tu perd une alimentation).
[...]
Maintenant ce que je reproche a la sécurisation par double alimentation, c'est de ne couvrir qu'un faible cas de coupure de service. Assez régulièrement les coupures entraînent une coupure des deux alimentations

Vivien,

En gros, ce que tu dis:
Tu constates que certains opérateurs de réseau utilisent des alimentation double (ou triple) qui ne garantisent pas une redondance
Tu constates que certains sites ont des "single point of failure" sur leur double réseau d'alimentation
Tu en conclus que la double alimentation est un luxe pas forcèment utile.

Désolé, mais je ne te suis pas. Ca n'est pas parce que certains opérateurs de réseau font mal leur boulot qu'il faut les imiter. Ca n'est pas parce que certains opérateurs de datacenter / POP télécom ont une architecture électrique foireuse qu'il faut abandonner la double alimentation.

Citer

Pour toutes ces raisons, je pense qu'il est préférable de sécuriser via des boucles reliée sur deux sites plutôt que de multiplier a grand frais la sécurité sur un unique site. Maintenant faire les deux c'est mieux

Oui, on est d'accord, faire les 2, c'est mieux. Je dirais même que c'est indispensable dès que tu touches à des équipements qui peuvent impacter des centaines/milliers de clients.

Leon.

K-net · « **Réponse #9 le:** 01 juillet 2012 à 11:30:27 »

Nous sommes d'accord de doubler les routes, encore faut-il que se soit économiquement réalisable.
- dans l'Ain, au départ du POP de St-Genis-Pouilly vers le CIXP et Lyonix on est OK, mais sur les 24 opérateurs seul Adeli et K-net ont fait l'effort de doubler les routes. ça n’incite pas le SIEA a travailler sur la mise en service du 2nd POP.
- Sur Genève, SIG ont mit les 2 POP dans GV1 Equinix et GV2 Equinix, nous connectons sur place GV1 et passerons GV2 via le CIXP quand le 2nd POP sera pleinement opérationnel.
- sur 4CF (Deauville), 2 POP sur une seule fibre pour aller à TH2, en attendant la mise en service du Calvados et la possibilité de s'appuyer sur les datacenter de SFR et Cogent, nous aurons un point de défaillance unique.
- sur Dunkerque, liaison unique vers TH2.
- Jura, liaison unique vers TH2 en attendant l'interconnexion au niveau d'Arbent des réseaux du Jura et de l'Ain.

Les RIP sont des réseaux de petites tailles et/ou en cours de construction qui en attendant leurs déploiements finals ont des points de défaillance unique. Les opérateurs d'opérateurs ont les équipements en double (ou en triple comme le SIEA), mais nous n'avons pas les mêmes moyens. Nous avons opté pour un switch en spare sur chaque RIP, en cas de défaillance d'un routeur de GIX, le trafic s'écoulera naturellement sur les autres GIX.
Nous avons doublé les alimentations (entre 200 et 500€ par équipement) pour palier les pertes d'alimentation et aux nécessités de déplacer un cable (très pratique pour passer sur les ePDU ou les changer de circuit électrique).
D'une manière générale, nous nous appuyons sur notre équipe qui est comme vous avez pu le voir encore une fois hier animée d'une conscience professionnelle assez développé.
Après Damien d'astreinte, nous avons eu Arnaud, Guillaume, Anthony et moi même qui sommes intervenu pour que la panne est un impact le plus faible sur les abonnés K-net. Nous avons à déplorer 2h15 minutes de coupure générale et 15h d'intervention.

Nous allons continuer à apporter notre expérience et collaborer avec les différentes RIP pour trouver des solutions applicables au FTTH sans que l'abonnement passe à 100€/mois.

vivien · « **Réponse #10 le:** 01 juillet 2012 à 12:02:03 »

Mon message ne s'adresse pas a K-Net (qui dispose d'un réseau fortement redondant pour le nombre de client desservis) mais au SIEA qui devrait avoir fait une sécurisation sur deux POP assez rapidement pour espérer qu'un gros FAI vienne sur le réseau. Même pour du peering privé, Orange exige un peering sur deux sites distincts pour assurer la redondance. Il me semble donc inconcevable de démarcher Orange et de leur proposer qu'une collecte sur St-Genis-Pouilly.

Le SIEA est connecté à LyonIX et au CIXP. Cela nécessite deux fibres distinct. Je pense qu'il aurait été possible pour pas beaucoup plus cher de relier un POP à LyonIX et un second au CIXP. Comme cela, les fai connecté des deux coté, comme K-Net et Adeli auraient une sécurisation.

Aujourd'hui bien sur cela a un coût non négligeable si il faut tirer une troisième fibre pour connecter le second POP.

Mon idée est plus de faire au moindre coût avec une alimentation électrique, une fibre vers un GIX par POP et non sécuriser au maximum un unique POP. Quand le réseau aura 20 000 abonnés, il sera effectivement possible de muscler la sécurisation comme ce que vous faite actuellement, mais pour moi cela viens après.

K-net · « **Réponse #11 le:** 01 juillet 2012 à 12:08:40 »

les fibres sont posées, les équipements installés, ce qu'il manque c'est la configuration du toute, j'ai lu un communiqué de presse qui indiquait que le SIEA avait fait appel à un sous-traitant.
http://eurocomputer.fr/articles/NextiraOne_et_le_SIEA_s_allient_pour_relier_l_Ain_a_l_Internet_Tres_Haut_Debit.htm

Je ne suis pas dans les petits papiers du SIEA pour connaitre les points de blocage. Je sais que la volonté politique est là et que les finances suivent, pour le reste nous sommes dans l'attente.

Vous avez des retours de Nextiraone ?