Auteur Sujet: AS41114 v2: OrneTHD migre en full Cisco  (Lu 15762 fois)

0 Membres et 1 Invité sur ce sujet

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
AS41114 v2: OrneTHD migre en full Cisco
« le: 12 décembre 2020 à 12:25:32 »
Hello !

Bon, pour reposer le contexte, OrneTHD tourne historiquement avec du Mikrotik. Lors de la migration vers l'AS41114 pour palier à la défaillence d'un fournisseur vital, on a bêtement repris du Mikrotik, mais dans sa version la plus avancée, les CCR1072 et du matériel x86 (sous RouterOS) pour le brassage des routes BGP. C'était du matériel dont on avait l'habitude de manipuler, facile d'utilisation, et ça nous a permis de nous concentrer sur d'autres sujets, notamment la bascule téléphonie, et les grosses rénovations.

Maintenant, 2 ans après, nous voilà. Les limites des Mikrotik commencent à se faire sentir (redémarrages inexpliqués, perte de routes qui isolent des communes, très légères pertes de paquets le soir, etc). Entre temps, le trafic a plus que triplé, le rythme des raccordements a triplé également, bref, il faut penser à la suite. OrneTHD va devenir un acteur qui va livrer beaucoup d'autres régies, communes et RIP à court terme, il faut de la capa, et surtout du matos sur lequel on peut compter.



Ma direction, "attachez vos ceintures"

Le choix s'est porté sur du Cisco, qu'on utilise déjà en CMTS pour la partie FTTLA. Ca marche du tonnerre, jamais eu la moindre panne. Pour remplacer les gro routeurs x86 BGP (ceux qui gèrent les interconnexions avec les autres opérateurs), on s'est tourné vers des Cisco ASR 9006 avec l'impulsion d'Hugues, merci à lui ! Sacré challenge, car je n'ai jamais manipulé des routeurs Cisco avant (pour rappel, je n'ai pas le moindre diplome, ni formation, je me suis juste tapé la documentation). Toute la configuration a été faite sans la moindre assistance (quand bien même la communauté Twitter s'est proposée de me filer un coup de main), pour surtout comprendre les concepts et comment s'articulent les choses.


Moi, ces dernières semaines

Ainsi, jeudi 10 décembre, on a coupé tout l'Est du réseau (Strasbourg-Frankfurt) et on a commencé à tout mettre sur l'ASR 9006 à Rombas, équipé de 24 ports 10G, et d'une carte "A9K-RSP440-SE", avec 12 Go de RAM pour tenir de bonnes grosses tables de routage. L'épreuve de feu : il fallait que tout soit remonté pour le soir, car sinon les saturations arrivent (car le soir, ça monte très très haut, vu qu'on désature à fond les communes).
Finalement ça c'est relativement bien passé. Il a fallu changer les adresses MAC pour autoriser notre nouveau routeur sur le DE-CIX (qui s'est fait un peu trop tard par rapport au pic de trafic) et également changer une optique 10G qui bagotait (c'était ça les microcoupures). Là maintenant, ça envoie du paté !


Moi qui sort de la tête de réseau

A noter pour les abonnés, on coupera tout le réseau en pleine nuit pour refaire tout le câblage fibre au propre (là c'est du temporaire, et câblage en double pour la migration Cisco), une info officielle sera émise, je pense que ça se fera en Janvier.

Ci-dessus:
- un schéma du nouveau réseau (on gère les communes OrneTHD, également les OLT Omega et très bientot toute la gestion technique du réseau Fibra d'Amnéville).
- l'impact sur la stabilité du ping avec Hetzner (Strasbourg/Frankfurt passe par l'A9K de Rombas), c'est juste beau !
- qq photos :)


! Ce topic est un WIP (Work In Progress), il sera donc mis à jour régulièrement. Abonnez-vous :)


« Modifié: 20 février 2021 à 14:05:30 par Optix »

usty

  • Abonné Orne THD
  • *
  • Messages: 236
  • Rombas
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #1 le: 12 décembre 2020 à 14:56:36 »
GG encore du beau boulot !

Petite question simple dans la peau d'un utilisateur lambda : De notre côté concrètement ça va nous permettre quoi ? Plus de stabilité en évitant les petits problèmes cités plus haut ou l'on verra carrément une amélioration sur certains points ?

Tu avais parlé dans un autre sujet de pouvoir éventuellement augmenter encore un chouilla le débit, c'est en lien ?

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #2 le: 12 décembre 2020 à 15:14:39 »
GG encore du beau boulot !

Petite question simple dans la peau d'un utilisateur lambda : De notre côté concrètement ça va nous permettre quoi ? Plus de stabilité en évitant les petits problèmes cités plus haut ou l'on verra carrément une amélioration sur certains points ?
Merci !  ;)

Pour vous, pas grand chose, si ce n'est de meilleures performances en "single thread", et une meilleure stabilité. Pour la première fois, tout le routage, toute la chaine de transport sera gérée en "hardware".

Il y a des microcoupures qui sont imputées à tort sur le réseau câble (aaah ces gens qui savent mieux que tout le monde), alors que non, ce sont les Mikrotik en amont qui foutent le bordel. Ca aussi, ça va dégager (donc oui, on investit des sommes à 5 chiffres pour régler des coupures de qq secondes !). Un bon FAI est un FAI qui se fait oublier.

De notre côté, ce sera une tranquillité d'esprit et le début de mes congés :D . Plus sérieusement, ça devenait compliqué de toucher aux routeurs car des fois, la moindre modification, tu perds la main sur le routeur pendant qq secondes, ma tension artérielle montait en flèche, c'était plus possible :D

Tu avais parlé dans un autre sujet de pouvoir éventuellement augmenter encore un chouilla le débit, c'est en lien ?
Non, Joeuf va expérimenter la nouvelle config. J'attends que tout soit basculé de ce côté, voir les retours et si c'est OK, on copie cette nouvelle config partout :D

dogfood

  • Régie de Marange-Silvange (57)
  • Abonné Orne THD
  • *
  • Messages: 119
  • Marange-Silvange (57)
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #3 le: 12 décembre 2020 à 17:45:45 »
Ainsi, jeudi 10 décembre, on a coupé tout l'Est du réseau (Strasbourg-Frankfurt) et on a commencé à tout mettre sur l'ASR 9006 à Rombas, équipé de 24 ports 10G, et d'une carte "A9K-RSP440-SE", avec 12 Go de RAM pour tenir de bonnes grosses tables de routage. L'épreuve de feu : il fallait que tout soit remonté pour le soir, car sinon les saturations arrivent (car le soir, ça monte très très haut, vu qu'on désature à fond les communes).
Finalement ça c'est relativement bien passé. Il a fallu changer les adresses MAC pour autoriser notre nouveau routeur sur le DE-CIX (qui s'est fait un peu trop tard par rapport au pic de trafic) et également changer une optique 10G qui bagotait (c'était ça les microcoupures). Là maintenant, ça envoie du paté !

Salut Optix, bravo pour le taff !

Par contre j'ai loupé un truc, on dirait qu'on ne passe plus par DE-CIX pour Hetzner ?

$ mtr -z4rwc1 www.hetzner.com
Start: 2020-12-12T17:43:21+0100
HOST: dondon                                                Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???    _gateway                                       0.0%     1    0.4   0.4   0.4   0.4   0.0
  2. AS???    172.24.64.1                                    0.0%     1    8.8   8.8   8.8   8.8   0.0
  3. AS41114  213.226.72.46                                  0.0%     1    9.7   9.7   9.7   9.7   0.0
  4. AS41114  cust-bond0.bd1.rombas.infra.ornethd.net        0.0%     1    9.6   9.6   9.6   9.6   0.0
  5. AS41114  vl200-rombas.bgp1.briey.infra.ornethd.net      0.0%     1    9.6   9.6   9.6   9.6   0.0
  6. AS???    corebackbone.par.franceix.net                  0.0%     1   14.4  14.4  14.4  14.4   0.0
  7. AS201011 ae18-2025.fra20.core-backbone.com              0.0%     1   23.6  23.6  23.6  23.6   0.0
  8. AS201011 core-backbone.hetzner.com                      0.0%     1   24.3  24.3  24.3  24.3   0.0
  9. AS24940  core12.nbg1.hetzner.com                        0.0%     1   22.2  22.2  22.2  22.2   0.0
 10. AS24940  ex9k2.dc1.nbg1.hetzner.com                     0.0%     1   21.1  21.1  21.1  21.1   0.0
 11. AS24940  static.88.198.255.177.clients.your-server.de   0.0%     1   25.2  25.2  25.2  25.2   0.0

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #4 le: 12 décembre 2020 à 18:15:22 »
Par contre j'ai loupé un truc, on dirait qu'on ne passe plus par DE-CIX pour Hetzner ?

Réglé :)

# mtr www.hetzner.com -4zwc10
Start: Sat Dec 12 18:14:36 2020
HOST: sip1.ornethd.net                                     Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS41114 gateway                                        0.0%    10    0.2   0.2   0.2   0.2   0.0
  2. AS41114 cust-bond0.bd1.rombas.infra.ornethd.net        0.0%    10    0.2   0.3   0.2   0.3   0.0
  3. AS41114 vl200-rombas.bgp1.briey.infra.ornethd.net      0.0%    10    0.6   2.2   0.6  11.2   3.3
  4. AS41114 be1-99-ibgp.a9k-rombas.infra.ornethd.net       0.0%    10    1.6   1.8   1.4   3.4   0.5
  5. AS???   decix2-gw.hetzner.com                          0.0%    10    7.9   7.3   6.4  12.3   1.7
  6. AS24940 core11.nbg1.hetzner.com                        0.0%    10    9.7  11.0   9.4  23.3   4.3
  7. AS24940 ex9k2.dc1.nbg1.hetzner.com                     0.0%    10   10.1  11.4   9.4  23.2   4.3
  8. AS24940 static.88.198.255.177.clients.your-server.de   0.0%    10    9.4   9.5   9.4  10.4   0.0

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 424
  • Lyon (69) / St-Bernard (01)
    • Twitter
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #5 le: 12 décembre 2020 à 18:34:30 »
;)

JulienOHAYON

  • AS29075 Officiel Ielo
  • Expert
  • *
  • Messages: 199
  • Paris (75)
    • ielo
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #6 le: 12 décembre 2020 à 22:39:31 »
Du coup tu as commandé la carte 100G pour Strasbourg ?  ;)

Cyberdom

  • Abonné Orne THD
  • *
  • Messages: 560
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #7 le: 13 décembre 2020 à 14:29:03 »
Beau travail Optix.

Tu avais parlé dans un autre sujet de pouvoir éventuellement augmenter encore un chouilla le débit, c'est en lien ?
Non, Joeuf va expérimenter la nouvelle config. J'attends que tout soit basculé de ce côté, voir les retours et si c'est OK, on copie cette nouvelle config partout :D
En effet, on va verra ce que ça donne.
Au fait, la bascule est prévue pour la semaine de Noël. Est-ce qu'on va avoir droit, pendant cette période, à des coupures du signal (TV, téléphonie, internet) ?

dogfood

  • Régie de Marange-Silvange (57)
  • Abonné Orne THD
  • *
  • Messages: 119
  • Marange-Silvange (57)
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #8 le: 16 décembre 2020 à 22:27:56 »

mc38

  • Abonné SFR THD (câble)
  • *
  • Messages: 39
  • TdR Echir 1G/100 CMTS:00:01:5c:87:xx:xx (00:17:10)
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #9 le: 17 décembre 2020 à 11:40:11 »
hello
merci pour vos différents fils... j'essaie de comprendre comment fonctionne .. un réseau: à mon age c'est pas facile.. ;)   bravo continuez..et je tiens à féliciter votre équipe et vous particulièrement pour votre communication et votre pédagogie..vous avez mis en service: votre nouvelle "bete" réseau à ROMBAS: ASR 9006 CISCO et vous avez basculé le coté est des "Pro"dans un 1° temps ..si j'ai bien compris..je me lance.. :P
quelques questions:sur le tracert corrigé concernant hetzner--> vous etes à Rombas: vous allez à Briey puis vour revenez à Rombas pas très bien compris le chemin ou est-ce due que la migration coté "bd1" n'a pas été faite encore..ou que tout doit rentrer par Briey.. ou sécuritairement si ASR9K coupé?vous gérer les OLT Oméga des 3 communes à l'est de Rombas ça consiste en quoi?, de meme la fibra Amnéville?
en haut de ASR9006 est implanté un commuteur de x réseaux mais vides pratiquement: il sert à quoi?
une question peut-etre avez-vous déjà répondu à Rombas en haut de la baie3 il exite un switch mikrotik il sert à quoi? est ce le switch AS41114 Sanef?
je suppose... qu'une nouvelle carte réseau ASR 9006 devra etre mis en place dans le chassis afin de pouvoir migrer totalement ASR9K, et ainsi supprimer par la suite les routeurs actuels Mikrotik  "bd1" (baie3) et "bd2" (baie4) qui poseraient pbs....c'est ça!!

est-ce qu'on peut par l'est entrer/sortir sur le réseau AS 41114?..sur Paris tout le réseau entrant est acheminé vers AS41147 Sanef ou le plus possible?

je ne suis pas un spécialiste réseau peut-etre ai-je posé des questions betes?...excusez-moi d'avance
cordialementps je poserais d'autres questions sur les autres fils ouvertsmerci de votre vulgarisation ...






xp25

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 865
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #10 le: 17 décembre 2020 à 12:55:43 »
Un bon FAI est un FAI qui se fait oublier.

Toujours au top Optix  ;) ;D ::) :P

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
AS41114 v2: OrneTHD migre en full Cisco (WIP)
« Réponse #11 le: 18 décembre 2020 à 18:31:25 »
quelques questions:sur le tracert corrigé concernant hetzner--> vous etes à Rombas: vous allez à Briey puis vour revenez à Rombas pas très bien compris le chemin ou est-ce due que la migration coté "bd1" n'a pas été faite encore..ou que tout doit rentrer par Briey.. ou sécuritairement si ASR9K coupé?
C'est dû à la migration. Les chemins vont s'optimiser au fur et à mesure qu'on dépose les anciens routeurs (pour récupérer leurs fibres car on n'a pas toujours pu tout câblé en double).

vous gérer les OLT Oméga des 3 communes à l'est de Rombas ça consiste en quoi?, de meme la fibra Amnéville?
Les régies n'ont pas forcément la compétence technique, surtout dans les télécoms où c'est un domaine qui évolue énormément. Il y a donc des fournisseurs qui gèrent tout, du provisioning des boxs, à la livraison du débit, en passant par la téléphonie et la TV. Sauf qu'ils ont tendance à se gaver :)

Du coup, OrneTHD intervient pour gérer les équipements d'autres communes/régies et livrer les services à des coûts bien inférieurs à la même qualité (si ce n'est mieux) dans une optique de partage de coûts. L'idée c'est "brancher toi, sert toi, et tu payes sur ce que tu te sers, on s'entraide". Pour donner un ordre de grandeur, c'est pas déconnant de dire qu'on arrive à diviser les coûts par 5 ou 10x.

Citer
en haut de ASR9006 est implanté un commuteur de x réseaux mais vides pratiquement: il sert à quoi?
C'est sur ce switch où se branchent les différents opérateurs (dont nous-mêmes). Ils nous servent à nous échanger des flux qui n'ont pas besoin d'être routés (donc pas besoin d'aller dans un routeur) comme les flux TV (pour se secourir les uns des autres pour palier à de très mauvaises conditions météo notamment) ou servir des abonnés en transparent à des opérateurs tiers.

Citer
une question peut-etre avez-vous déjà répondu à Rombas en haut de la baie3 il exite un switch mikrotik il sert à quoi? est ce le switch AS41114 Sanef?
La baie 3 c'est l'infra principale. On a bossé sur l'infra de secours en baie 4 où il y a aussi un Cisco Nexus pour déranger le moins possible.
Regardez la bien, car dans un/deux mois, la baie 3 va respirer un peu, on va remplacer les 5 équipements par un seul, il me tarde de refaire ça propre !