Hello !
Bon, pour reposer le contexte, OrneTHD tourne historiquement avec du Mikrotik. Lors de la migration vers l'AS41114 pour palier à la défaillence d'un fournisseur vital, on a bêtement repris du Mikrotik, mais dans sa version la plus avancée, les CCR1072 et du matériel x86 (sous RouterOS) pour le brassage des routes BGP. C'était du matériel dont on avait l'habitude de manipuler, facile d'utilisation, et ça nous a permis de nous concentrer sur d'autres sujets, notamment la bascule téléphonie, et les grosses rénovations.
Maintenant, 2 ans après, nous voilà. Les limites des Mikrotik commencent à se faire sentir (redémarrages inexpliqués, perte de routes qui isolent des communes, très légères pertes de paquets le soir, etc). Entre temps, le trafic a plus que triplé, le rythme des raccordements a triplé également, bref, il faut penser à la suite. OrneTHD va devenir un acteur qui va livrer beaucoup d'autres régies, communes et RIP à court terme, il faut de la capa, et surtout du matos sur lequel on peut compter.
(https://media.giphy.com/media/OCu7zWojqFA1W/giphy.gif)
Ma direction, "attachez vos ceintures"
Le choix s'est porté sur du Cisco, qu'on utilise déjà en CMTS pour la partie FTTLA. Ca marche du tonnerre, jamais eu la moindre panne. Pour remplacer les gro routeurs x86 BGP (ceux qui gèrent les interconnexions avec les autres opérateurs), on s'est tourné vers des Cisco ASR 9006 avec l'impulsion d'Hugues, merci à lui ! Sacré challenge, car je n'ai jamais manipulé des routeurs Cisco avant (pour rappel, je n'ai pas le moindre diplome, ni formation, je me suis juste tapé la documentation). Toute la configuration a été faite sans la moindre assistance (quand bien même la communauté Twitter s'est proposée de me filer un coup de main), pour surtout comprendre les concepts et comment s'articulent les choses.
(https://media.giphy.com/media/q1mHcB8wOCWf6/giphy.gif)
Moi, ces dernières semaines
Ainsi, jeudi 10 décembre, on a coupé tout l'Est du réseau (Strasbourg-Frankfurt) et on a commencé à tout mettre sur l'ASR 9006 à Rombas, équipé de 24 ports 10G, et d'une carte "A9K-RSP440-SE", avec 12 Go de RAM pour tenir de bonnes grosses tables de routage. L'épreuve de feu : il fallait que tout soit remonté pour le soir, car sinon les saturations arrivent (car le soir, ça monte très très haut, vu qu'on désature à fond les communes).
Finalement ça c'est relativement bien passé. Il a fallu changer les adresses MAC pour autoriser notre nouveau routeur sur le DE-CIX (qui s'est fait un peu trop tard par rapport au pic de trafic) et également changer une optique 10G qui bagotait (c'était ça les microcoupures). Là maintenant, ça envoie du paté !
(https://media.giphy.com/media/QvSz4QnBxiXR3keCAA/giphy.gif)
Moi qui sort de la tête de réseau
A noter pour les abonnés, on coupera tout le réseau en pleine nuit pour refaire tout le câblage fibre au propre (là c'est du temporaire, et câblage en double pour la migration Cisco), une info officielle sera émise, je pense que ça se fera en Janvier.
Ci-dessus:
- un schéma du nouveau réseau (on gère les communes OrneTHD, également les OLT Omega et très bientot toute la gestion technique du réseau Fibra d'Amnéville).
- l'impact sur la stabilité du ping avec Hetzner (Strasbourg/Frankfurt passe par l'A9K de Rombas), c'est juste beau !
- qq photos :)
! Ce topic est un WIP (Work In Progress), il sera donc mis à jour régulièrement. Abonnez-vous :)
(https://media.giphy.com/media/xT5LMB2WiOdjpB7K4o/giphy.gif)
** Bilan migration Cisco **
Dans la nuit du jeudi au vendredi 5 février, les derniers équipements de coeur de réseau OrneTHD ont été remplacés par du matériel Cisco. Ce remplacement était nécessaire à la fois pour répondre au gros appétit de nos abonnés et également résoudre des problèmes de stabilité.
Mais ce remplacement était très sensible. En effet, un routeur de coeur de réseau communique avec... tous nos réseaux :
- opérateurs tiers : OrneTHD livre des clients professionnels à d'autres opérateurs
- serveurs : ce sont eux qui gèrent les mails, la téléphonie, les DNS, ils sont indispensables
- management : nos agents ont besoin de ce réseau pour accéder à l'état de votre modem, voir l'état de la ligne, etc
- abonnés professionnels
- abonnés particuliers
...
Bien qu'un 2e routeur de coeur de réseau était déjà en service et prend le relai, ce n'est que de façon logique. Là il fallait déplacer des fibres physiquement ce qui impactait forcément l'ensemble.
* Les difficultés post-migration
Quand bien même la majorité du trafic a été repris, et les services remontés chez beaucoup d'abonnés, il demeurait des complications.
La priorité a été de rétablir l'entièreté des services pour les opérateurs tiers et les abonnés professionnels critiques (qui payent des garanties supplémentaires, des établissements de santé aux régies pour les urgences électricité/gaz). Puis les abonnés en offre professionnelle (avec une garantie de rétablissement classique de 4 heures ouvrées), et enfin les particuliers. Là est la première raison de retard de rétablissement pour les abonnés grand public.
La deuxième, est qu'il s'agit de matériels nouveaux pour nous. Il faut un temps d'accomodation pour qu'on prenne rapidement nos automatismes, nos réflexes et aussi comprendre le pourquoi des régressions. En effet, les approximations et les largesses du matériel précédent ne sont plus tolérés par les Cisco actuels, du coup, il nous a fallu revoir et rationaliser nos règles de filtrage (si on dépasse une limite hardware, le Cisco coupe carrément l'interface, c'est... brutal ^^ ).
Par contre, fait intéressant, c'est que l'IPv6 est tellement bien implémenté, que son absence se fait vite remarquer. En effet, dans l'urgence, seuls les services en IPv4 ont été remontés. Mais le SAV se faisait très sollicité par des problèmes de lenteurs et une impossibilité de joindre des équipements du foyer pour les plus geeks de nos abonnés. Aussitôt l'IPv6 rétabli, tous les problèmes de lenteurs se sont réglés d'eux-mêmes.
C'est ainsi, une fois qu'on a basculé en IPv6 on ne revient plus en arrière.
* Les bénéfices immédiatement visibles
Des retours très positifs se sont fait connaître dès le lendemain et durant les jours qui ont suivi.
Pour beaucoup, le débit monte beaucoup plus vite dès la 1ère seconde d'un speedtest (pas forcément un débit plus élevé, mais une instantanéité est ressentie, plutôt qu'une montée progressive), d'autres ont constaté en plus un débit plus élevé quand même, etc.
(https://pix.milkywan.fr/yKAkaYTj.png) (https://pix.milkywan.fr/O2optvic.png)
Il y avait aussi qq pertes de paquets sporadiques, qu'on avait imputé à tort au réseau câblé, qui se sont résolus d'eux-mêmes (désolé pour les mauvaises langues). En effet, nous suivions de près le cas d'une poignée d'abonnés souffrant de ces maux, et du jour au lendemain, certains nous confirmaient une nette amélioration (quant aux autres, ils ont simplement cessé de se manifester et nous relancer).
Côté OrneTHD, je vous avoue clairement que c'est un soulagement de reposer sur du matériel auquel on peut avoir confiance et que les "Smokeping" qui traduisent la stabilité de la latence sont unanimes : il y a bien un avant et un après.
(https://pix.milkywan.fr/FQvEIq0w.png)
La migration est visible aux 4 traits bleus foncés
Le câblage a aussi été refait, le passage des fibres est nettement plus propre (bien que ça ne soit pas encore parfait, je sais). On a maintenant beaucoup plus de ports de libres pour relier d'autres communes (notamment Homécourt qu'on va allumer sous peu).
C'est ainsi que s'achèvent les travaux de rénovation du réseau OrneTHD. Plus de 2 années pour rattraper le retard, et maintenanant on est capable de faire la course aux débits sereinement et durablement. On va pouvoir attaquer cette année et les suivantes avec des trucs de malade :)
(https://pix.milkywan.fr/HpiRbByB.png)
Voilà à combien ça monte en pleine soirée. Le lien Frankfurt sera porté à 40 Gbps.
PJ: avant/après
Orne THD => Discussion démarrée par: Optix le 12 décembre 2020 à 12:25:32