La Fibre
Datacenter et équipements réseaux => Équipements réseaux => 
Infrastructure réseau (opérateurs) => Discussion démarrée par: Leon le 25 août 2020 à 13:01:10
-
Salut à tous,
Tout le monde dit qu'un réseau IP réparti géographiquement et sérieux doit avoir un management "out of band" de ses équipements, pour pouvoir diagnostiquer et reconfigurer à distance les équipements répartis, depuis un NOC.
Je me pose une question : comment ça se passe dans la pratique? Quelles sont les solutions utilisées dans la vraie vie pour transporter cet "OOB" entre le NOC et les sites répartis?
* Est-ce qu'on est obligé de construire un réseau en parallèle de l'existant, pour pouvoir continuer à accéder aux équipements? Si oui, ça peut couter très cher, non?
* pour un (petit) opérateur réparti sur plusieurs sites, est-ce qu'il peut utiliser de la "bande passante IP faible débit" ou un simple "accès Internet" (ADSL, fibre FTTH, acces Ethernet 10 ou 100Mb/s en datacenter) d'un autre opérateur, pour faire son OOB-management?
* est-ce qu'on peut utiliser un modem 3G/4G pour faire du OOB-management sur un site?
* peut-on utiliser du satellite bas débit (Thuraya ou autre) pour cet OOB-Management?
* un opérateur qui gère lui même ses liaison, est-ce qu'il va devoir prévoir des liaisons (lambda) 100% dédiés à son réseau de management? Mais si ces liaisons OOB sont portées elles mêmes par des équipements optiques qu'on doit administrer à distance OOB, c'est risqué non?
C'est un sujet qui me semble loin d'être évident...
Leon.
-
Pour un opérateur tel que Bouygues Telecom, c'est un second réseau complètement indépendant dans les datacenter.
La connexion Out of band management se fait sur des équipements distincts.
La collecte du trafic Out of band passe par des routeurs et des fibres distinctes.
-
En plus des modems 3G/4G utilisés, tu peux aussi avoir des lignes RTC.
-
Chez un précédent employeur, j'avais construit un petit réseau d'OOB.
C'est un réseau complètement séparé, avec des routeurs propres, et des liens dédiés (un lambda sur le même DWDM que le réseau principal) sécurisés en OSPFv3
Les routeurs étaient connecté en Ethernet via leur port de Management, et en Serial via un Serial/Console connecté à l'OOB
Sur les sites principaux, un routeur en plus était ajouté avec une interco via un autre FAI (xDSL, Crossco-copain, FTTH, 4G) et montait un tunnel vers plusieurs VM et du routage dynamique dans le tunnel
Et sur ces VM de management là, un serveur OpenVPN était installé.
L'intéret de la chose, c'est que peu importe ce qui tombe (un routeur d'interco, un lien, une VM de management), tu arrives toujours a te connecter a ton OOB
-
Merci à tous.
Pour un opérateur tel que Bouygues Telecom, c'est un second réseau complètement indépendant dans les datacenter.
La connexion Out of band management se fait sur des équipements distincts.
La collecte du trafic Out of band passe par des routeurs et des fibres distinctes.
Ouch, s'il faut des fibres longues distance séparées (même si c'est dans les mêmes cables) ça doit être un cout énorme!
Sachant qu'il faut des équipements d'amplification séparés, dédiés à ce réseau OOB dans chaque site de réamplification, car les ampli optiques eux-mêmes sont administrables...
Mais effectivement, pour un gros opérateur, je ne vois pas trop comment faire autrement.
En plus des modems 3G/4G utilisés, tu peux aussi avoir des lignes RTC.
OK, pour les anciens sites. J'avais déjà vu ça effectivement. Mais il est peu probable que ça soit utilisé pour les sites récent, vu que le RTC est en fin de vie.
C'est un réseau complètement séparé, avec des routeurs propres, et des liens dédiés (un lambda sur le même DWDM que le réseau principal) sécurisés en OSPFv3
Par rapport à ça, on est d'accord que ça n'est possible qu'avec du WDM "passif"?
Sur un MAN parisien, ça fonctionne, et c'est une solution logique.
Dès qu'on passe en WDM actif avec des équipements optiques hautement configurables (ADVA, CIENA, Infinera, etc...), il faut manager ces chassis optiques en Out-Of-Band, donc ça n'est plus possible.
Leon.
-
Merci à tous. Ouch, s'il faut des fibres longues distance séparées (même si c'est dans les mêmes cables) ça doit être un cout énorme!
Je te rassure, c'est sans doute pas le cas.
Après à un moment j'imagine que chaque opérateur résout une équation technico-économique pour son OOB. A savoir, combien il est prêt à mettre pour séparer sa prod de son OOB. En fonction des ressources dont il dispose.
-
Je te rassure, c'est sans doute pas le cas.
J'ai pas compris. Tu mets en doute ce qu'a dit Vivien quelques posts plus haut?
Pour un opérateur tel que Bouygues Telecom, c'est un second réseau complètement indépendant dans les datacenter.
La connexion Out of band management se fait sur des équipements distincts.
La collecte du trafic Out of band passe par des routeurs et des fibres distinctes.
Leon.
-
J'ai effectivement un doute sur le fait d'avoir 2 PFON en // sur le réseau longue distance (et même ailleurs cela dit).
Après ça utilise peut-être des capacités sur d'autres liaisons du réseau pour faire transiter cet OOB, rendant la chose relativement sécurisée.
D'ailleurs vivien dit "distinctes" et pas "dédiées".
-
Par rapport à ça, on est d'accord que ça n'est possible qu'avec du WDM "passif"?
Pas forcément non, tu peux le faire en actif aussi, tant que tes Mux ne sont pas tous reliés entre eux pour faire des trucs magiques (coucou OVH).
L'idée c'est de pouvoir tolérer une coupure d'un lien, dans l'idéal.
Et dans mon design, rien ne t'empêche d'avoir plusieurs réseaux d'OOB non reliés (par exemple un réseau OOB à Lyon, un OOB à Paris, etc) connectés ensemble via les VM de Management.
-
J'ai parlé des sites datacenter, ce sont des gros sites avec de grosses capa.
Je ne sais pas comment c'est fait sur des petits sites.
J'ai malheureusement vu de nombreux sites distant de moins 70 km relié de nombreuses fois entre eux : un besoin distinc, une fibre (alors qu'il y a possibilité de mutualiser)
-
J'ai parlé des sites datacenter, ce sont des gros sites avec de grosses capa.
Je ne sais pas comment c'est fait sur des petits sites.
OK, pour un datacenter, l'exercice est relativement "facile" (tout est relatif).
En fait, Vivien, ma question porte plus sur les réseaux très répartis sur le territoire.
Comment on fait pour manager un réseau WAN à l'échelle de la France?
J'aurais du être plus précis dans ma question, désolé.
Pas forcément non, tu peux le faire en actif aussi, tant que tes Mux ne sont pas tous reliés entre eux pour faire des trucs magiques (coucou OVH).
L'idée c'est de pouvoir tolérer une coupure d'un lien, dans l'idéal.
Et dans mon design, rien ne t'empêche d'avoir plusieurs réseaux d'OOB non reliés (par exemple un réseau OOB à Lyon, un OOB à Paris, etc) connectés ensemble via les VM de Management.
OK, ça fonctionne si tu as plusieurs chassis optiques différents (et indépendants) sur chaque site, ce qui n'est pas forcément le cas. Avec un seul chassis optique qui fait ROADM, je ne vois pas trop comment tu fais l'OOB management du chassis lui même...
Peut-être que les équipementiers (ADVA, INFINERA, CIENNA) prévoient un lambda dédié vraiment à part non soumis aux aléas des erreurs de conf et des bugs...
EDIT: ça semble être le cas
https://media.ciena.com/documents/Optical_Supervisory_Channel_Module_DS.pdf
Leon.
-
J'ai malheureusement vu de nombreux sites distant de moins 70 km relié de nombreuses fois entre eux : un besoin distinc, une fibre (alors qu'il y a possibilité de mutualiser)
Quand le câble est à toi, ça peut avoir du sens. Mais quand tu loues la liaison à un tiers ?
D'ailleurs il me semble que l'offre LFO était limitée à 1 liaison (2FO) entre deux sites.
-
OK, ça fonctionne si tu as plusieurs chassis optiques différents (et indépendants) sur chaque site, ce qui n'est pas forcément le cas. Avec un seul chassis optique qui fait ROADM, je ne vois pas trop comment tu fais l'OOB management du chassis lui même...
Il faut bien comprendre qu'un réseau d'OOB, comme son nom ne l'indique pas, n'est quasiment jamais un seul réseau.
Il n'y a aucun besoin de connectivité de bout en bout, il peut donc y avoir une infinité de passerelles.
Donc quand tu as un site relou comme celui là, tu mets le nominal de ton OOB par le chassis, et un secondaire via un autre accès (xDSL, 4G, etc)
Chez un autre employeur, l'OOB, c'était une box OVH sur chaque POP et un firewall + raspberry Pi avec console par équipement.
Pas de réseau unifié, et quand tu avais besoin de te connecter au device, tu tapais l'IP OVH pour arriver sur le Pi et rebondir sur l'équipement.
-
Il faut bien comprendre qu'un réseau d'OOB, comme son nom ne l'indique pas, n'est quasiment jamais un seul réseau.
Il n'y a aucun besoin de connectivité de bout en bout, il peut donc y avoir une infinité de passerelles.
Donc quand tu as un site relou comme celui là, tu mets le nominal de ton OOB par le chassis, et un secondaire via un autre accès (xDSL, 4G, etc)
Chez un autre employeur, l'OOB, c'était une box OVH sur chaque POP et un firewall + raspberry Pi avec console par équipement.
Pas de réseau unifié, et quand tu avais besoin de te connecter au device, tu tapais l'IP OVH pour arriver sur le Pi et rebondir sur l'équipement.
Merci Hugues, j'ai bien compris.
Par contre, pour un très gros opérateur d'envergure nationale, ça ne marche plus forcément. Si tu t'appelles Orange, tu peux difficilement te baser sur des ADSL ou 4G (d'Orange ou d'un autre) pour faire l'OOB du Backbone national Orange.
Leon.
-
Je pense que les OIV (opérateur d'Importance Vitale) a également des obligations.
A priori les obligations seraient en fonction du nombre de clients impacté en cas de perte du site, c'est pour cela que régionaliser peut avoir un intérêt (ne pas dépasser xxx clients sur un site pour ne pas avoir un pallier supplémentaire d'obligations)
Donc les réseau Out of band d'un NRA/NRO avec 100 clients n'est pas le même de celui qui dépasse 10 000 clients.
Quand je vois ERDF qui prépositionne des groupes devant TH2 lors d'opérations, je ne suis pas sur que tous les sites aient droit à ça. Comme me le disait un de mes chef, la perte de TH2 cela se verra directement sur le PIB de la France.
(https://lafibre.info/images/datacenter/201508_groupes_devant_th2.jpg)
-
Quand je vois ERDF qui prépositionne des groupes devant TH2 lors d'opérations, je ne suis pas sur que tous les sites aient droit à ça. Comme me le disait un de mes chef, la perte de TH2 cela se verra directement sur le PIB de la France.
Chuuuut. ;)
C'est bien défendu au moins?
-
Je trouve que TH2 se sécurise d'année en année.
Le site n'est pas directement sur la rue et derrière les vitres sans teints, il y a maintenant du matériel pour éviter les voitures beliers.
Bref, il n' y a pas de policier qui patrouille devant mais je pense qu'il est bien défendu, même si certains redoutent une explosion de la station essence qui est juste devant (deux pompes situées derrière le 2ème camion ERDF, c’est une petite station avec de petits volumes, on dépasse les 2€ du litre)
-
Merci Hugues, j'ai bien compris.
Par contre, pour un très gros opérateur d'envergure nationale, ça ne marche plus forcément. Si tu t'appelles Orange, tu peux difficilement te baser sur des ADSL ou 4G (d'Orange ou d'un autre) pour faire l'OOB du Backbone national Orange.
Leon.
Bon, ça semble se confirmer :
Pour les réseaux longue distance opérés en propre, les équipements optiques récents embarquent en option une fonction OSC (Optical Supervisory Channel).
C'est un réseau 100Mb/s (donc robuste) complètement à part.
L'OSC a pour objectif principal de coordonner les équipements optiques entre eux, (ampli, ROADM, etc...).
Mais l'OSC peut également supporter de l'Out-Of-Band-Management pour tout le chassis optique, et pour d'autres équipements.
Ce signal optique OSC est complètement indépendant:
- contrairement au "data path", chaque ampli optique intermédiaire a une paire de transceiver OSC. Donc le signal OSC s'arrête physiquement à chaque ampli, avec une commutation (Ethernet) à chaque ampli optique.
- C'est sur une longueur d'onde complètement séparée du reste du DWDM
- Ce canal a son ampli optique dédié (parce que parcourir 200km sans ampli...).
Donc même si la config de l'équipement optique est complètement foirrée, le réseau OSC est censé continuer à fonctionner.
Leon.
-
Par contre, pour un très gros opérateur d'envergure nationale, ça ne marche plus forcément. Si tu t'appelles Orange, tu peux difficilement te baser sur des ADSL ou 4G (d'Orange ou d'un autre) pour faire l'OOB du Backbone national Orange.
Pourtant, je peux t'assurer que beaucoup d'OOBM chez les 4 gros sont faits en RTC/ADSL/4G :)
-
Par contre, pour un très gros opérateur d'envergure nationale, ça ne marche plus forcément. Si tu t'appelles Orange, tu peux difficilement te baser sur des ADSL ou 4G (d'Orange ou d'un autre) pour faire l'OOB du Backbone national Orange.
Pourtant, je peux t'assurer que beaucoup d'OOBM chez les 4 gros sont faits en RTC/ADSL/4G :)
OOB-Management de quels types d'équipements, stp? J'ai bien parlé dans mon message précédent d'équipements de backbone d'Orange.
Tu peux difficilement compter sur de l'ADSL ou de la 4G, pour assurer le management de ton backbone, vu que cet ADSL et 4G passent par ce même backbone. Ou alors j'ai loupé un truc dans ta phrase... Si tu pouvais m'expliquer, stp.
A moins qu'Orange ne prennent des abonnements ADSL/4G chez les autres opérateurs ADSL/4G pour transporter l'OOB-Management de son backbone? Ca serait couillu, je n'y crois pas trop, mais je ne suis pas du métier.
Pour les 3 autres, ça me choquerait moins qu'il fassent de l'OOB-Management via de l'ADSL/4G sur le réseau d'Orange. Le réseau d'Orange étant "autonome" (il ne dépend pas de tiers), contrairement aux 3 autres.
Leon.
-
A moins qu'Orange ne prennent des abonnements ADSL/4G chez les autres opérateurs ADSL/4G pour transporter l'OOB-Management de son backbone? Ca serait couillu, je n'y crois pas trop, mais je ne suis pas du métier.
Sinon il y a Orange Caraïbes qui roam chez 3 MNO français si je ne m'abuse ;).
-
A moins qu'Orange ne prennent des abonnements ADSL/4G chez les autres opérateurs ADSL/4G pour transporter l'OOB-Management de son backbone? Ca serait couillu, je n'y crois pas trop, mais je ne suis pas du métier.
Ah je te confirme que le principe d'un OOB c'est de ne pas passer sur ton réseau de prod. Comme le dit Nico, Orange Caraïbes est très prisé chez les FAI Français, notamment pour les téléphones d'astreinte.
Il faut aussi se dire un truc, tu dois bien pouvoir accéder à ton réseau d'OOB d'une manière ou d'une autre, sans devoir être physiquement relié dessus, pour le Backbone, tu as des gens à la supervision H24, ce n'est pas trop un souci, mais pour une antenne relais ou un petit pop de campagne, ce n'est pas le cas, de l'intéret de l'OOB chez un autre FAI.
Tu sais, dans les télécoms, on est tous fournisseurs et concurrents, alors il n'y a pas un sacro-saint principe qui empêche toute commande chez l'opérateur d'en face :)
-
Ensuite, chez un gros opérateur comme Orange, tu peux aussi avoir des réseaux suffisamment disjoints pour te permettre un OOB de l'un sur l'autre.