Auteur Sujet: Coupure 2x864FO Scaleway entre DC2 et DC3  (Lu 8030 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Coupure 832FO Scaleway entre DC2 et DC3
« Réponse #12 le: 09 février 2019 à 07:34:41 »
Un truc que j'avais pas réalisé et que mikmak m'a expliqué sur IRC c'est qu'une partie des adductions des transitaires/peerings arrivent à DC3 depuis DC2.

Du coup quand un lien DC2 <-> DC3 est coupé, ça réduit la capacité pour les serveurs physiquement localisés à DC2 (ce qui était évident) mais aussi pour ceux de DC3 (ce qui l'était moins si on regarde juste la WM).
Si les routeurs sont sur DC3, les peering Scaleway sont sur plusieurs sites : en local à DC3, DC2, TH2,...

Nico

  • Modérateur
  • *
  • Messages: 44 449
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Coupure 832FO Scaleway entre DC2 et DC3
« Réponse #14 le: 09 février 2019 à 08:31:56 »
Si les routeurs sont sur DC3, les peering Scaleway sont sur plusieurs sites : en local à DC3, DC2, TH2,...
OK, les interco sont sur plusieurs sites.
OK, mais si le site central (DC3) n'a que 2 adductions fibre, que les liens vers l'extérieur sont répartis 50-50% sur chacune des 2 adductions, alors il est 'normal' que 50% des liens tombent quand 1 adduction est totalement coupée. Et ce quelle que soit la localisation des interco avec l'extérieur (DC2, TH2, etc...).

Je me rappelle que Mikmak (et/ou Arnaud) nous avait dit qu'il comptait sur le L3 pour assurer la redondance. Pour l'instant il ne voulait pas faire de redondance avec des chassis optiques (1 seul lien logique L2/L3 sur 2 chemins ou sur une boucle optique), ni au niveau L2 avec de l'Ethernet.

Peut-être que suite à cet incident Online va changer son fusil d'épaule, en introduisant une redondance au niveau L2 ou L1...
Ou peut-être pas...

Autre truc que cet incident nous permet de découvrir, sur la weathermap: quasiment tous les liens de transit/peering autour du 2ieme routeur BB2.DC3 sont tombés. Ca veut dire que quasiment tous les routeurs tiers ne sont pas à DC3, contrairement à ce qu'essayait de nous faire croire Online. Seul Level3 a ses 2 liens maintenus, donc Level3 a certainement des routeurs sur place à DC3, et c'est sans doute le seul.

Leon. 

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #15 le: 09 février 2019 à 10:25:58 »
La question c'est pas de savoir si les routeurs de l'opérateur sont sur place, c'est de savoir d'où viennent les fibres qu'ils utilisent. La WM montre juste que pour de nombreux opérateurs il y a une partie des adductions qui viennent de DC2.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #16 le: 09 février 2019 à 11:03:35 »
La question c'est pas de savoir si les routeurs de l'opérateur sont sur place, c'est de savoir d'où viennent les fibres qu'ils utilisent. La WM montre juste que pour de nombreux opérateurs il y a une partie des adductions qui viennent de DC2.
Pas d'accord avec toi. La localisation des routeurs et des équipements optiques de l'opérateur tiers est hyper importante.
Si Online ou l'opérateur tiers (Level3) construisent un vrai réseau MAN redondant, et qu'ils ne s'interconnectent ensemble (peering/transit) qu'en local au sein d'un même site (que ce soit DC3 ou un autre datacenter), alors l'interconnexion devrait être robuste à une coupure fibre à un endroit quelconque des MAN.

Au contraire, si le liens de peering/transit passe par un  unique lien MAN (WDM) sans redondance sous jaçente, alors un lien de peering/transit pourra être perdu dès la première coupure fibre. Lien de transit/peering redondé dans le cas d'Online.

Je ne dis pas qu'une solution est meilleure que l'autre, c'est un vrai dilemme entre les 2 solutions, les 2 philosophies:
 * interco au plus simple avec des WDM dédiés non redondés entre 2 datacenter. Et on fait confiance au routage (BGP) pour assurer la résilience.
 * construction d'un réseau MAN redondant et robuste aux coupures, et interco en local uniquement. Plus complexe, plus cher. C'est sans doute la situation de Level3 à DC3.

Et en théorie, la convergence du routage à l'intérieur d'un AS est meilleure, plus rapide qu'entre plusieurs AS.

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #17 le: 09 février 2019 à 11:16:54 »
Sachant que pour plusieurs peer il est impossible d'avoir une redondance ou deux chemins, la solutions pour ce peer distant est de mettre eu équipement (par exemple sur TH2) qui est double aducité à DC3 de façon a ce que perdre un des deux chemins optique ne puisse pas faire perdre de peer.

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #18 le: 09 février 2019 à 11:19:29 »
Oui, je n'arrive pas trop à comprendre le raisonnement de Leon. Que l'opérateur ait des équipements actifs ou non sur site, le problème reste toujours l'adduction puisqu'il faut bien que le trafic sorte du DC à un moment donné.

La seule solution est de multiplier les chemins pour les adductions mais on sait tous qu'économiquement ce n'est possible que dans une certaine mesure.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #19 le: 09 février 2019 à 11:38:55 »
Leon remarque qu'il y a des saturations en cas de perte d'un unique chemin optique.

Il y a plusieurs type d'architecture :

- Orange : En cas de perte du chemin A le flux passe par le chemin B et il est nécessaire de s'interconnecter sur deux sites distincts pour peerer avec AS3215, même quand le trafic de 10 Gb/s.

- Bouygues : On distingue deux cas :
  • peer où le transit est incapable de prendre le relais : il y a plusieurs peering sur plusieurs sites avec une architecture N+1
  • peer qui ne dépassent pas quelques centaines de Gb/s : un seul peering est mis en place mais l'équipement qui est derrière est relié au réseau via une double adduction via deux chemins distincts avec une capacité qui permet de tout faire passer d'un seul coté ou de l'actif / passif.


Dans le cas de Scaleway, il y a beaucoup de peering / transit qui sont eclatés sur les deux routeurs, mais avec une charge qui dépasse 50%. Cela coûte cher de tout dimensionner x2 et l'alternative pourrait être une solution à la Bouygues Telecom pour les liens qui ne peuvent pas être dimensionné x2.

Cela pourrait passer par la mise en place sur TH2 de deux routeurs qui sont chacun connecté à DC3 via deux chemins et avec un dimensionnent qui permet de tout faire passe sur un seul lien.
L’intérêt, c'est que cela permet de faire des maintenances zen.

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #20 le: 09 février 2019 à 11:44:58 »
Ce qui revient finalement à avoir plus de capacité sur chaque routeur non ?

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #21 le: 09 février 2019 à 11:55:49 »
Ce qui revient finalement à avoir plus de capacité sur chaque routeur non ?
Oui, dans la plupart des cas on doit augmenter la capacité des routeurs pour augmenter la résilience d'un MAN, mais pas systématiquement.

Tu peux très bien assurer une redondance de chemins au niveau L1 (optique) ou L2 (Switch ethernet L2/L3) sur un réseau de type MAN, sans pour autant augmenter la capacité des routeurs. Normalement, les ports d'un routeur coutent très cher, donc ça peut être une solution...

Après je ne dis pas que c'est la meilleure solution... car rajouter une couche supplèmentaire (L1 ou L2) ça rajoute de la complexité au réseau... Plus de complexité, donc plus difficile à configurer et maintenir, donc plus facile de faire des erreurs...

Tout ça c'est une histoire de compromis.

En tout cas bon courage aux équipes réseau d'Online. Ce samedi ne va pas être de tout repos.

Leon.

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #22 le: 09 février 2019 à 11:59:17 »
Il n'y a pas de miracle de toute façon, soit tu augmentes la capacité sur chaque patte soit tu ajoutes un ou plusieurs pattes à ton réseau. Dans tous les cas c'est un investissement mais j'ai tendance à croire qu'il doit être notablement plus couteux de multiplier les adductions passant par des chemins différents.

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
Coupure 2x864FO Scaleway entre DC2 et DC3
« Réponse #23 le: 09 février 2019 à 12:59:56 »
De toutes façons ce sont des cas de force majeure. Le risque sera toujours là quoi qu'on fasse, et je trouve dommage qu'on dépense des milles et des cents pour faire une course à la résilience.

Le problème, selon moi, c'est que c'est au client de faire face à ses responsabilités aussi. S'il a une infra critique et qu'il a voulu économiser en mettant ça dans un seul DC, bah c'est sa merde. Et ça vaut pour n'importe quoi, même pour un modeste site internet : un kimsufi et une dedibox c'est déjà une bonne démarche.

Autrement dit, je peux accepter qu'un DC se plante qq heures, ça peut arriver. C'est à moi de rendre mon infra résiliente, de dépenser un peu plus pour 2 DC différents que d'avoir un seul gros DC où j'ai tout dedans.