Auteur Sujet: AS41114 : visite de l'infrastructure OrneTHD - Neticable (Lu 7420 fois)

Optix · « **le:** 19 octobre 2019 à 20:20:28 »

Bonsoir à tous,

Vu que le précédent reportage photo sur Silvange vous a plu, aujourd'hui je vous emmène avec moi pour visiter le backbone, càd la colonne vertébrale d'OrneTHD. Il s'agit vraiment du coeur de votre fournisseur d'accès à Internet (FAI) que vous allez découvrir

***
En novembre 2018, OrneTHD et Polymag/Neticable coinvestissent dans un tout nouveau réseau flambant neuf. Les objectifs étaient multiples :
- gagner en qualité : on voulait se brancher au plus près des autres opérateurs en direct, d'un coup d'un seul, et diminuer le ping (càd le temps que met une donnée à aller sur une autre machine en gros)
- acheter moins cher : contrairement à un transitaire qui vient exprès nous amener le trafic sur un plateau, le fait d'aller à Paris le chercher soi-même a permis de diviser les coûts ! Je ne peux pas donner de chiffre, mais ce n'est pas ni de moitié, ni du tiers, ni du quart ! C'est aussi le cas pour la téléphonie, les coûts d'achat ont nettement chutés (et cela se ressent sur la grille tarifaire).
- acheter nettement plus de capacité : la croissance augmente par abonné avec la vidéo à la demande, mais aussi le nombre d'abonnés croit également. On prévoit aussi d'augmenter les débits de nos offres, il faut donc qu'on soit tranquille sur les capacités commandées.

OrneTHD a basculé dessus en Janvier 2019. Voilà pourquoi vous avez senti une nette hausse de qualité sur l'ensemble du réseau. Rentrons dans le détail.

***
Paris: la portée d'entrée/sortie du réseau.

Nous louons cet espace très réduit dans le datacenter le plus connu de France : Telehouse 2 (TH2). C'est à cet endroit que partent les fibres vers nos confrères et que vous quittez/rentrer dans le réseau OrneTHD/Neticable.
Nous sommes ainsi interconnectés avec :
- FranceIX : un point d'échange de trafic Internet (IX=Internet eXchange). Grossièrement, c'est une grosse multiprise détenu par une association avec beaucoup d'opérateurs branchés dessus, et chacun paye sa prise. Nous voyons ainsi Google, Netflix, Amazon, des pointures du jeu vidéo (Blizzard, Valve/Steam, etc), des hébergeurs (OVH, Online/Scaleway, iKoula, etc), tout ça, en direct pour gagner en ping et en qualité. Donc on a notre fibre à côté de Google par ex, c'est un truc de fou !
- Cogent et Sparkle (Telecom-Italia) : ce sont des transitaires, ils nous fournissent la totalité des routes d'Internet. Nous avons pris 2 fournisseurs pour prévenir les pannes ou les périodes de maintenance, et là, on paye à la consommation (d'où le fait de privilégier FranceIX, vu qu'on paye déjà le port). Cogent nous sert particulièrement pour les opérateurs qui n'ont que du Cogent en connectivité.
- SANEF : qui nous fournit de la fibre entre nous et Paris.

Nous avons donc ces interconnexions sur un "bête" switch (le gros traitement est effectué ailleurs). Un routeur plus puissant est en dessous, où cas où j'ai besoin de filtrer du trafic avant de l'envoyer dans notre fibre SANEF notamment.

C'est une petite installation qui paye pas de mine, mais qui nous rend un sacré service comparé à avant. Comme dit, il s'agit simplement de s'y interconnecter, les uns avec les autres. De "simples prises" suffisent donc.

***
Briey : le brassage de l'Internet.

Briey est le coeur de réseau de Polymag/Neticable. C'est l'endroit idéal pour y poser de grosses machines puissantes (à TH2, le manque de place et le manque de puissance électrique ne le permettent pas, tellement il y a de monde, les loyer sont chers, même pour les opérateurs). C'est aussi optimal pour Neticable qui a ses équipements juste sur place. Ils sont les plus proches de Paris. Ce serait idiot que le trafic aille jusqu'à Rombas pour eux, et revenir ensuite en arrière.

Voici les routeurs BGP (2 bestiaux en noir). Ce sont des machines vitales qui brassent tout le trafic et calculent en permanence les meilleures routes pour connaître le chemin optimal pour envoyer vos données. Grosso-modo ils passent leur vie à dire aux autres opérateurs "hé si tu veux joindre OrneTHD c'est moi qu'il faut contacter, j'ai un bon tuyau" et inversement "hé Orne, ta partie de jeu, tu l'envoies sur FranceIX, je m'entends bien avec le routeur en face".

Techniquement, ils restent de simples serveurs (x86_64) avec de grosses cartes réseaux (4x 10Gbps chacun, dont 80Gbps de capacité, on en utilise à peine 10%), équipés du système d'exploitation RouterOS. Ce qui nous intéresse c'est les processeurs capables d'absorber très très rapidement les changements de routes. Apprendre toutes les routes d'Internet, il faut environ 1 minute (là avec les nôtres une dizaine de seconds suffit) et ça ne cesse de grandir. Croyez-bien qu'il faut des gros bestiaux

Ainsi dès que Paris cesse de répondre, ces routeurs doivent tout recalculer pour tout faire sortir via notre lien de secours. Idem pour les opérateurs en face qui doivent faire le même travail (sinon ils continuraient d'envoyer sur Paris, et vos données n'arrivent jamais). Cette bascule prend quelques dizaines de secondes à quelques minutes suivant les opérateurs en face. Voilà pourquoi il faut de grosses bécanes car Internet change sans arrêt : des routes s'ajoutent, s'allongent, se raccourcissent, disparaissent, etc.

Aussi, un switch réceptionne les fibres SANEF, et d'autres fibres qui repartent vers d'autres opérateurs locaux, dont OrneTHD, Neticable, TRTE, etc une fois les routes brassées. A noter que nous sommes aussi interconnectés avec Post.lu (les postes luxembourgeoises) à Metz, si jamais la fibre vers Paris est coupée.

***
Bienvenue à Rombas : le coeur d'OrneTHD

De haut en bas :
- "BD1", autrement dit le routeur de bordure (qui voit Internet). C'est lui qui va filtrer vos ultimes paquets avant de sortir sur Internet. Typiquement si vous envoyez un paquet avec une IP source de l'Elysée, ce routeur va jeter votre paquet à la poubelle. Idem, c'est aussi lui qui nettoie le trafic entrant (genre éviter qu'il y a du partage Windows qui se balade).
- "CUST1", c'est le routeur qui voit les équipements de collecte (CMTS, switchs, etc) et donc, vous, les abonnés (customers). C'est lui qui connait les routes pour aller à Rombas, Marange, etc et c'est grâce à lui que vous pouvez vous joindre les uns les autres.
- "CMTS", c'est le switch qui accueille les terminaisons des CMTS grand public de toutes les communes. Un CMTS est l'équipement qui discute avec vos modems câble.
- "PRO", c'est le switch qui accueille les switchs de chaque commune chargés de récupérer les accès Internet professionnels.

Tous ces équipements sont doublés et sont placés à l'identique dans la baie d'à côté. On peut tout à fait disjoncter cette baie, vos accès Internet sont secourus en quelques secondes par les mêmes équipements juste à côté. Les fibres de Rombas-Briey sont également secourues via des chemins différents.

Plus bas vous avez d'étranges bandeaux de prises (JOEUF, BRONVAUX...) avec des couleurs. Ce sont des équipements CWDM (à vos souhaits). Dans une même fibre, il est possible de véhiculer plusieurs couleurs afin de cumuler les débits et de terminer la couleur sur différents équipements (pour palier à la défaillance d'un laser unique ou d'un équipement). C'est comme de la lumière blanche qui circule dans le câble : au travers d'un prisme, on découpe nos différentes couleurs.
Par exemple, le CWDM de Joeuf permet d'utiliser la couleur :
- jaune pour TV
- vert pour le grand public
- rouge pour le switch des professionels
---> tout ça dans la même fibre !

C'est exactement pareil avec le câble : je vous envoie de la TV et de l'Internet dans le même câble et en même temps, mais sur des fréquences différentes. La fibre c'est la même chose, mais avec des couleurs (des longueurs d'onde pour être précis).

Aussi, pour améliorer les accès Internet, il a été décidé d'accorder à chaque abonné une adresse IPv4 publique (dynamique) et d'éteindre les équipements CGNAT responsables des déconnexions intempestives le soir sur l'ensemble du réseau. Le déploiement IPv6 a amélioré aussi les accès en évitant tout processus de NAT sur le trajet (le NAT est très consommateur en ressources, il s'écroule quand le débit devient trop fort), car chaque équipement du foyer a sa propre IP publique. Un parefeu sur les boxs remplace le vieux NAT pour obtenir la même protection.

***
Le traceroute

Un "traceroute" est une commande système qui permet de voir le chemin qu'emprutent vos données et le temps parcouru par celle-ci. Je vous invite à chercher sur Internet comment l'utiliser si vous êtes curieux.

Voici comment ça se présente de l'extérieur vers OrneTHD :
HOST: desktop Loss% Snt Last Avg Best Wrst StDev 1.|-- router 0.0% 1 0.2 0.2 0.2 0.2 0.0 2.|-- 172.16.100.46 0.0% 1 71.0 71.0 71.0 71.0 0.0 3.|-- 172.16.100.45 0.0% 1 9.4 9.4 9.4 9.4 0.0 4.|-- par.ornethdspl.franceix.net 0.0% 1 14.0 14.0 14.0 14.0 0.0 <==== FranceIX (qui se termine sur Briey) 5.|-- vl200-briey.bd1.rombas.infra.ornethd.net 0.0% 1 14.4 14.4 14.4 14.4 0.0 <=== BD1 à Rombas 6.|-- bd1-bond0.cust1.rombas.infra.ornethd.net 0.0% 1 14.4 14.4 14.4 14.4 0.0 <== CUST1 à Rombas 7.|-- vl22-te1.cmts.rombas.infra.ornethd.net 0.0% 1 14.9 14.9 14.9 14.9 0.0 <== CMTS de Rombas 8.|-- 100.0 1 0.0 0.0 0.0 0.0 0.0 9.|-- 213.226.73.x 0.0% 1 22.0 22.0 22.0 22.0 0.0 <= L'abonné final

Mon travail consiste entre autres à optimiser sans arrêt le meilleur chemin possible afin que vous ayez le chemin le plus court, ou le moins surchargé pour équilibrer les liens.

***
Le récap en schéma !

Donc voilà où passe votre vie numérique chez OrneTHD et Neticable. J'ai grand plaisir à construire et maintenir cette petite infrastructure avec toutes les équipes techniques qui montent en compétence par la même occasion. On donne le meilleur de nous-mêmes pour supporter vos records de trafic que vous explosez tous les mois

Merci à Grégory, Patrick, Mathieu et Jessica pour cette belle petite infra !

J'espère que vous en avez appris plus. Comme toujours, n'hésitez pas si vous avez des questions.

K-L · « **Réponse #1 le:** 19 octobre 2019 à 22:40:00 »

Superbe et très bien vulgarisé Un immense bravo !

usty · « **Réponse #2 le:** 19 octobre 2019 à 23:03:35 »

Super ce mini reportage, c'est bien expliqué !

Du coup là, ça nous explique en gros le "point central". Il me semble que tu en as déjà parlé sur des topics mais ce serait possible d'expliquer comment ça se passe après derrière au niveau des installations qui vont gérer une seule commune par exemple ? Genre il y a quoi après cette infrastructure centrale, pour nous filer notre internet, comment ça passe dans une tête de réseau, jusqu'aux rues, comment ça se divise, etc..

Cyberdom · « **Réponse #3 le:** 19 octobre 2019 à 23:10:36 »

Merci Optix pour ce reportage détaillé

.

Ca serait en effet intéressant de savoir comment est acheminée la fibre depuis le siège d'Orne THD à Rombas vers les différentes communes desservies et ensuite dans les différents quartiers de ces communes.

Nico · « **Réponse #4 le:** 20 octobre 2019 à 09:46:06 »

La liaison avec SANEF c'est sous forme de wave ? C'est sécurisé de leur côté ?

Optix · « **Réponse #5 le:** 20 octobre 2019 à 10:49:58 »

Citation de: Nico le 20 octobre 2019 à 09:46:06

La liaison avec SANEF c'est sous forme de wave ? C'est sécurisé de leur côté ?

Oui.

Non pas sécurisé pour l'instant, ça coutait trop cher (car on payait cette infra + l'ancienne en parallèle encore). Ca le sera dès qu'on commandera une wave supplèmentaire

thedark · « **Réponse #6 le:** 20 octobre 2019 à 11:15:00 »

Super reportage !

alain_p · « **Réponse #7 le:** 20 octobre 2019 à 11:36:33 »

Citation de: Optix le 19 octobre 2019 à 20:20:28

Par exemple, le CWDM de Joeuf permet d'utiliser la couleur :
- jaune pour TV
- vert pour le grand public
- rouge pour le switch des professionels
---> tout ça dans la même fibre !

Tu envoies du 600 nm (jaune), 550 nm (vert), et 650 nm (bleu), dans tes fibres ?

Sinon, merci pour le reportage !

Nico · « **Réponse #8 le:** 20 octobre 2019 à 18:42:43 »

Je dirais que c'est la couleur des jarretières (qui ont pas l'air bien épaisses) sur l'avant-dernier U en partant du bas.

Solidus · « **Réponse #9 le:** 22 octobre 2019 à 16:36:33 »

Routeur de bordure = PE ou ER ? c'est la même chose ? il se trouve ou sur la WeatherMap ? Des fois je confond ER/PE et routeur de cœur de réseau

Solidus · « **Réponse #10 le:** 12 novembre 2019 à 21:02:57 »

Je remonte le sujet

Optix · « **Réponse #11 le:** 12 novembre 2019 à 22:17:48 »

Citation de: Solidus le 22 octobre 2019 à 16:36:33

Routeur de bordure = PE ou ER ? c'est la même chose ? il se trouve ou sur la WeatherMap ? Des fois je confond ER/PE et routeur de cœur de réseau

Dans notre cas, les routeurs de bordures sont les routeurs BGP au centre. Paris c'est que du switching.