Auteur Sujet: OrneTHD : passage en 400G (reportage photo) (Lu 15187 fois)

Optix · « **le:** 19 août 2023 à 15:49:37 »

Bienvenue !

Le coeur d'Orne THD à Rombas :

A ses débuts, Orne THD était livrée en 4x1G à Rombas, au cul du camion.

Puis à mon arrivée début 2019, nous étions passés en 10G vers Paris, 1ère fois que nous posons du matériel en dehors de nos communes.
En 2021 nous nous sommes offerts le luxe d'une fibre noire tout le long de l'autoroute, en allumant 4 "couleurs" de 10G de chacun côté, soit 80G.

Aujourd'hui, cette capacité ne suffit plus pour 2 raisons :
- nos loulous consomment plus de 40G tous les soirs : si Orne THD perd un côté, c'est la saturation assurée. On pourrait continuer à allumer des 10G, mais il faudrait monter tous les 6 mois sur l'autoroute, c'est chiant. La croissance est trèès forte.
- pour allumer la distribution abonnés en 10G, sans investissement, un loulou peut saturer l'une des 8 voies, à lui seul. Il faut donc avoir des tuyaux plus gros que lui.

Donc no stress, il y aura bien du DOCSIS3.1 pour les abonnés, avec du 10G au cul, etc, mais il faut faire les choses dans l'ordre et il faut upgrader la dorsale d'abord

Avant, nous utilisions des optiques ayant un débit de 10G chacune. Elles sont suffisamment puissantes pour envoyer de la patate jusqu'à 80km, mais aussi suffisamment sensibles pour voir le semblant de lumière qui arrive jusqu'à elle. N'oublions pas que nous travaillons avec 2 fibres (l'une en émission, l'autre en réception). Nous avons donc utilisé des équipements qui copient "bêtement" les données d'une optique à l'autre, afin de regénérer un signal neuf et qui parcourera de nouveau jusqu'à 80km supplémentaires, jusqu'au prochain bestiau... et ainsi de suite.

Nous allons donc passer sur des optiques 400G, éclatées en 4x100G pour être utilisables sur nos switchs et routeurs qui n'ont que des ports 100G.
Avec une difficulté majeure : une telle optique n'est pas capable de tenir d'aussi longues distances. Elle a donc besoin d'aide et donc d'équipements supplémentaires. Forcément... le nombre de jarretières fibres s'en retrouve démultiplié, mais chacune a une grande importance

A l'heure où j'écris, la partie Strasbourg-Rombas est déjà faite.

Le réseau OrneTHD :

1) Les amplis optiques

Alors, finalement on a 2 difficultés : l'optique ne pousse pas assez fort... et son capteur ne peut pas lire un signal tout rikiki, atténué avec une telle distance. Car oui, un signal optique perd de la patate au cours de son voyage.

Ainsi, au lieu de brancher l'optique directement sur la SANEF, on va d'abord lui faire prendre des épinards grâce à un ampli. Il va rebooster le signal, et zou ça part. Idem en réception, le petit poussin qui arrive tout affaibli, on va le rebooster avant de le faire rentrer dans l'optique. C'est comme vous : si on parle de trop loin, vous n'entendez plus rien. Il faut donc amplifier notre voix avec un mégaphone, c'est pareil ici.

On a donc un puissant accélérateur, prêt à balancer la purée. C'est le rôle des "EDFA" (DCP-F-A22) que vous voyez. En RX le petit signal, en TX le même signal, amplifié. Donc déjà attention, on ne raisonne pas en "RX" = réception, TX transmission, mais sur le traitement d'un même signal. Du coup vous l'avez compris, il nous en faut 2 pour amplifier chaque sens (contre seulement 1 en TV)

2) L'atténuation variable

Bon le souci, c'est que c'est une optique très fragile (du porte-monnaie, ça coute 5 chiffres pièce !). Le signal optique est généré par un laser, et un gros laser ça peut faire des dégats : ça aurait pu griller les couilles de James Bond dans Goldfinger !

Afin que tout le monde puisse garder ses testicules et assurer la survie de l'humanité, il nous faut des atténuateurs pour diminuer la puissance du signal.

Ca parait con, alors qu'on vient d'avoir du matériel pour justement rebooster le signal : pourquoi diable faire l'inverse ? Autant pousser moins fort non ?

En fait, l'ampli, son job est d'amplifier. Il sort à une puissance minimale, comme une voiture au ralenti : aucune voiture ne tourne avec seulement 5 tours par minute ! Du coup on peut aller de 1000 à 8000 tours/min avec l'accélérateur, mais pas en dessous de 1000.

Ainsi l'atténuateur est notre pédale de frein. Il est là pour éviter de cramer les optiques en aval, car le signal serait trop fort. On lui donne les niveaux élevés et il freine plus ou moins fort le signal qui lui arrive de l'ampli en amont. L'optique a donc une fourchette de fonctionnement (comme vous, vous êtes incapables de regarder le soleil en face ni de voir dans le noir), et il faut qu'on soit 24/24h dans cette fourchette, sans déborder.

Voilà pourquoi le signal amplifié qui sort de l'EDFA en TX, rentre dans une optique VOA (Variable Optical Attenuator) dans SFP1, et ressort freiné (ou non) en TX.

3) Le transpondeur

Son job est de convertir des signaux. Plus concrètement, c'est ici que se termine la liaison 400G et éclatée en 4x100G. Vous pouvez à la fois repartir avec dans un autre transpondeur, dans un autre EDFA et zou on repart à l'aventure... ou bien arrêter une 100G sur place pour livrer un opérateur.

Allez, petite difficulté supplémentaire. En 400G, on utilisons un signal modulé en 16QAM. Au lieu d'utiliser un signal qui fait bêtement 0 ou 1, on utilise des variations, genre 0.25/0.5/0.75, ou 0.1/0.2... pour véhiculer beaucoup plus de données. Mais ce signal plus perfectionné devient intolérent à l'imperfection et beaucou plus de risque d'erreurs. Il y a donc des notions de BER (Bit error rate), bien connu chez Orne THD puisque c'est la même chose sur les réseaux câblés et donc des systèmes de correction (le fameux FEC) agissent.

Trop d'erreurs incorrigibles : le port ne monte pas !

Les signaux des différentes 100G se terminent sur un gros Cisco ASR, chargé de traiter le million de routes.

4) Au milieu

Orne THD est présent sur quasiment toutes les gares de péages de la SANEF sur le tronçon Paris-Strasbourg, car il faut regénérer le signal.
Désormais, certains arrêts peuvent être sautés car le signal est suffisamment puissant pour aller rejoindre l'arrêt d'après. Du coup, ici il suffit juste de brancher les fibres de l'Est avec les fibres qui vont vers l'Ouest, et d'éteindre les équipements (qui seront recyclés partout dans notre réseau).

5) Le canal de management (OSC)

Si je vous disais que, même si les optiques 400G ne se voient pas, j'arrive quand même à voir les équipements à l'autre bout. Là normalement je perds tout le monde

En fait, nous avons sur les équipements la faculté d'avoir des optiques dédiées au management et qui occupe une "couleur" supplémentaire dans la fibre. Ces optiques offrent beaucoup moins de débit, mais permettent d'aller beaucoup plus loin. Par exemple, je peux me planter sur l'atténuation, je freine trop fort le signal, pouf la data tombe... mais je garde la main pour réparer mon erreur !

Idem si la fibre est pétée au milieu (bon là je vous rassure, on ne voit plus rien, même le management tombe), on est quand même capable de faire une réflectométrie et déterminer avec précision l'endroit de la coupure pour aider les équipes.

Ainsi, je récupère ce canal grâce à un mux (mon doigt sur le LINE ci-dessous, c'est direct relié à l'autoroute), où je splitte entre ce qui part vers l'EDFA (donc le signal data) et ce qui part dans le management (OSC, qui se termine dans SFP2).

Sur cette photo ci-dessous, je me retrouve au milieu du chemin. De haut en bas : le switch ; l'EDFA vers Strasbourg ; l'EDFA vers Rombas ; les transpondeurs qui terminent et éclatent le 400G ; la rampe TV (osef). Portez attention sur le 1er EDFA, à droite : le SFP2 (OSC) est allumé : la liaison est bonne !

admin@EDFA-SBG-HER>show osclinkview detail Local system Fiber Remote system ================================================ ==================================================== ================================= Power Loss Attenuation Length Disp. Power Hostname Interface Status Alarm [dBm] [dB] [dB/km] [km] [ps/nm] Fiber Direction [dBm] Interface Hostname ------------- ----------- ------ ----- ----- ---- ----------- ------ ------- ----- --------- ----- ----------- ------------- EDFA-SBG-HER if-1/2/2-tx up ok -0.1 36.9 0.33 111.6 1863 G.652 >>>>> -37.0 if-1/2/2-rx EDFA-HER-SBG EDFA-SBG-HER if-1/2/2-rx up ok -37.0 36.8 0.33 111.6 1863 G.652 <<<<< -0.2 if-1/2/2-tx EDFA-HER-SBG

6) La suite

Actuellement, Orne THD a encore une vieille architecture basée sur des VLAN. C'est-à-dire qu'on relie des ports physiques (comme France24) à des ports physiques (genre SANEF pour l'amener jusqu'ici). Si le port tombe... bah c'est pété ! C'est bête comme les pieds, ça ne change pas de chemin.
L'idéal étant le passage en VXLAN où le but est de relier des ports physiques (toujours France24) à des IP ! Comme ça on récupère le port à l'autre bout, peu importe le chemin parcouru, peu importe où ça va. Ca permet ainsi de secourir tout le réseau d'un claquement de doigt, en toute transparence.

Pour cela, on n'utilise qu'une seule 100G pour la vieille architecture et une autre 100G pour la nouvelle.
Une autre 100G est confiée à l'opérateur Appliwave avec qui nous partageons la liaison.
La dernière 100G est libre et ouverte à d'autres opérateurs.

Tout ce déploiement est bien évidemment future-proof dans le sens où les optiques 400G sont "tunables" et qu'on peut ainsi mettre cote-à-cote plusieurs 400G sur la même liaison.

Conclusion

Bravo si vous êtes arrivés jusqu'ici ! J'ai essayé de synthétiser et vulgariser au maximum pour que cela soit compréhensible pour un maximum de gens, j'ai pas mal taillé dans mes écrits (notamment la partie mux que j'ai totalement viré sinon c'est indigeste)

Merci tout d'abord à vous de m'avoir lu et de vous être intéressés à l'envers du décor d'un petit opérateur. Ce genre de reportage est rare car peu d'opérateurs dévoilent ainsi leurs "bijou de famille" si j'ose dire. Mais voilà, Orne THD agit dans l'intérêt de ses usagers du service public, en garantissant ainsi un service de qualité et le suivi de l'évolution du débit sur de longues années.

Merci également aux collègues pour ce déploiement (les photos ont été prises sur le tas, désolé si ça semble un peu le bazar, là vous êtes avec nous dans le jus ^^), et à la direction et aux élus qui permettent à OrneTHD de devenir toujours plus fort à chaque déploiement.

Tout le matériel et sa configuration nous ont été conseillé par Pure Optics, des français dont c'est le métier et qui nous ont bien aidé à mettre le pied à l'étrier. Merci donc à Patrick et à Jéremy.

Quant à moi, je reste attentif à vos retours et répondrais à vos questions, n'hésitez pas.

Très belle après midi et à bientôt !

Cédric.

Hugues · « **Réponse #1 le:** 19 août 2023 à 15:58:27 »

Bravo Cédric pour ce beau reportage ! Du beau matériel et suffisamment de capa sous le coude pour voir l'avenir

Je découvre les optiques VOA, c'est rigolo, chez ADVA ce truc prend une linecard complète.
J'imagine que tu peux aussi choisir d'éclater un 100G en 10x10G si un jour tu as besoin de faire autre chose que de l'IP ?

Du coup dans les POPs de régé, tu mets deux EDFA et deux transpondeurs chainés j'imagine ?

Pour VxLAN, tu as fini par te décider sur EVPN ou pas ? :p

alain_p · « **Réponse #2 le:** 19 août 2023 à 16:12:32 »

C'est impressionnant de voir ce type de matériel chez un petit opérateur comme Orne THD. 4*100G...

F-GAHX · « **Réponse #3 le:** 19 août 2023 à 16:36:48 »

Bravo pour ce reportage super interessant.
j'ai une question, maintenant tu a 100G avec des VLAN et 100G avec des VXLAN.
Quand tout sera passé en VXLAN tu compte avoir 200G (2*100G) de chaque coté de dispo?
La Tv pese combien dans tes liens actuellement ?
Sur la WM on voit un lien qui dire en direct Paris -Strasbourg c'est le 100G d'AW ?
Merci pour la transparence d'OrneTHD

Leon · « **Réponse #4 le:** 19 août 2023 à 18:01:37 »

Merci pour le reportage. Intéressant.

Citation de: F-GAHX le 19 août 2023 à 16:36:48

Bravo pour ce reportage super interessant.
j'ai une question, maintenant tu a 100G avec des VLAN et 100G avec des VXLAN.
Quand tout sera passé en VXLAN tu compte avoir 200G (2*100G) de chaque coté de dispo?
La Tv pese combien dans tes liens actuellement ?
Sur la WM on voit un lien qui dire en direct Paris -Strasbourg c'est le 100G d'AW ?
Merci pour la transparence d'OrneTHD

J'avais posé les mêmes questions ici.
https://lafibre.info/ornethd/1-milliard-de-merci-ornethd-marange-merci/msg1027003/#msg1027003

Donc
- Pour la partie Data Internet haut débit, ça n'est pas dans du VxLAN bizarrement, et ça n'est "redondé" que par des interconnexions (peering/transit) réparties entre ouest Paris et Est Strasbourg/Francfort. A priori, ils ne prévoient pas de migrer la partie Data Internet Haut débit sur du VxLAN, et encore moins de faire une boucle. Reste la question de savoir si ça sera 2 liens 200Gb/s, effectivement, c'est une bonne question.
- Le lien direct Paris-Strasbourg, c'est un 10Gb/s pour la redondance de chemin pour les autres services style téléphonie, interco 4G, moins gourmands en débit. Pour continuer à assurer le service avec une unique interco à Paris avec les partenaires, malgré une coupure fibre par exemple.

Leon.

Optix · « **Réponse #5 le:** 19 août 2023 à 19:35:35 »

Citation de: F-GAHX le 19 août 2023 à 16:36:48

La Tv pese combien dans tes liens actuellement ?

Un peu plus d'un 1 Gbps à tout péter. 400M de FranceTV, 300M de Viacom (Nickelodeon, MTV etc), 100M de NRJ, du TF1&M6 premium, etc, jusqu'à du 6M pour France24, voire 0 pour 2 interco (événementielles).

Citation de: Hugues le 19 août 2023 à 15:58:27

J'imagine que tu peux aussi choisir d'éclater un 100G en 10x10G si un jour tu as besoin de faire autre chose que de l'IP ?

Je ne crois pas, pas avec ce module en tout cas.

Citation de: Hugues le 19 août 2023 à 15:58:27

Du coup dans les POPs de régé, tu mets deux EDFA et deux transpondeurs chainés j'imagine ?

Soit le point au milieu on le bypass en patchant les fibres autoroutières directement.
Soit on s'arrête avec un switch (comme c'est le cas ici, on sort une 10G pour livrer une régie).

Pour Paris (qu'on n'a pas encore fait), il y aura juste 2 EDFA (pour la réception et la transmission). Pas de "stop".
Le risque étant qu'on ne regénère pas un signal neuf, mais un signal affaibli, qu'on a réamplifié, et qu'on réamplifie encore et encore... comme sur les réseaux câblés, tu auras un SNR (optique ici) plus bas et donc un taux d'erreur plus haut.
C'est là que les niveaux de puissances sont importants.

Les optiques 400G qu'on a peuvent également se régler sur le débit que l'on souhaite. Par ex, je peux "sacrifier" une 100G et l'activer en 300G, pour gagner un peu plus de patate. Ci-joint un extrait de la datasheet (je suis calé en n°5)

Citation de: Hugues le 19 août 2023 à 15:58:27

Pour VxLAN, tu as fini par te décider sur EVPN ou pas ? :p

On doit mettre à jour les ASR d'abord.
Pour cela, il faut que les Nexus en coeur de réseau aient une patte sur l'ASR de Briey (le 2e cœur de réseau), car sinon je plonge quasi tout OrneTHD dans le noir

Citation de: alain_p le 19 août 2023 à 16:12:32

C'est impressionnant de voir ce type de matériel chez un petit opérateur comme Orne THD. 4*100G...

Merci !

Leon · « **Réponse #6 le:** 19 août 2023 à 19:40:14 »

Citation de: Optix le 19 août 2023 à 19:35:35

Soit le point au milieu on le bypass en patchant les fibres autoroutières directement.

Je suppose que vous allez en profiter pour résilier la location d'espaces devenus inutiles, dans certains sites d'amplification SANEF.

Leon.

Optix · « **Réponse #7 le:** 19 août 2023 à 19:50:18 »

Citation de: Leon le 19 août 2023 à 19:40:14

Je suppose que vous allez en profiter pour résilier la location d'espaces devenus inutiles, dans certains sites d'amplification SANEF.

Leon.

Nope, on est engagé pendant très longtemps et franchement, c'est pas les 2/3 emplacements d'économisés qui vont changer grand chose. Ce qui coûte c'est la fibre, pas l'emplacement.
C'est même moins cher de mettre ta baie là-bas, qu'en datacenter (c'est un peu le problème de Metz d'ailleurs, le DC s'est construit et galère à se remplir alors que tout le monde s'est interco dans le pop sanef en amont).

Mais les sites ne sont pas choisis au hasard. Si demain on doit livrer un opérateur précis, on peut être réactif dessus.

thsdrd · « **Réponse #8 le:** 19 août 2023 à 20:48:30 »

Super ce reportage photo !
Merci d'avoir pris le temps d'expliquer en détails. C'est que motivant pour s'instruire davantage sur le sujet

Cyberdom · « **Réponse #9 le:** 19 août 2023 à 21:49:02 »

Sympa ce compte rendu détaillé Optix

.

J'ai remarqué depuis cette migration (depuis plusieurs semaines) sur la weathermap que le signal depuis Francfort vers Google par exemple est à 0%.
Est-ce lié à cette migration ? Est-ce que que le signal depuis Francfort va revenir ?

Optix · « **Réponse #10 le:** 20 août 2023 à 10:37:22 »

Citation de: Cyberdom le 19 août 2023 à 21:49:02

J'ai remarqué depuis cette migration (depuis plusieurs semaines) sur la weathermap que le signal depuis Francfort vers Google par exemple est à 0%.
Est-ce lié à cette migration ? Est-ce que que le signal depuis Francfort va revenir ?

Oui.

C'est juste la supervision qui est niquée. Il y a du bien du trafic (cf le lien entre Strasbourg et Frankfurt, graphé depuis Strasbourg).

La difficulté c'est que le switch à Frankfurt nécessite une bonne concentration pour adapter la config (je n'ai pas de management dédié, donc la moindre erreur je perds la main). Je m'y remets après mes congés dès que j'aurais un moment de calme.

Cyberdom · « **Réponse #11 le:** 20 août 2023 à 10:52:15 »

OK, merci pour les précisions.

Autre question, je n'ai pas bien compris, le nouveau lien Strasbourg-Paris passe aussi par la SANEF ? C'est un lien de secours ?