La Fibre
Télécom => Peering Transit (appairage) => 
BGP (technique, questions générales) => Discussion démarrée par: Synack le 13 août 2014 à 15:31:37
-
Hello,
Depuis ce matin on voit un peu partout des sujets èmerger concernant des problèmes chez certains opérateurs Internet.
Le problème vient d'une limite présente sur de nombreux routeurs du nombre de routes BGP configurée à 512K (voir pour certains routeurs une limite hard)
Cette limite a été dépassée en raison de l'annonce de nombreuses nouvelles routes sur Internet dernièrement :
http://www.bgpmon.net/what-caused-todays-internet-hiccup/ (http://www.bgpmon.net/what-caused-todays-internet-hiccup/)
http://www.cymru.com/BGP/bgp_updates.html (http://www.cymru.com/BGP/bgp_updates.html)
Verizon aurait annoncé d'un coup de nombreuses /24 plus précises de leurs préfixes, provoquant une montée assez importante du nombre de routes global sur Internet.
Du coup les gens qui étaient/sont limités à 512K routes et ne filtrent rien pour alléger leur full view ont été impactés fortement par cet événement.
-
Il faut aussi préciser également, que certains opérateurs on désactivé IPv6 pour libérer de la places pour les routes IPv4.
-
Pouah l'horreur
-
Il faut aussi préciser également, que certains opérateurs on désactivé IPv6 pour libérer de la places pour les routes IPv4.
C'est dommage, cette histoire va pas aider au déploiement d'IPv6.
Le problème c'est aussi que pour la quasi totalité des routeurs de cet âge, ça demande un changement de profil TCAM et donc un reload du routeur.
Le plus simple pour moi c'est d'ajouter une default route et de filtrer les /24 dans la route-map in déjà dans un premier temps.
Ensuite d'affiner le filtrage. Je pense qu'en France notamment on s'en fout un peu d'apprendre des /24 ou des /23 de /8 asiatiques.
C'est quand même un peu jouer avec le feu que de flirter avec ce genre de limite alors que l'impact est critique et qu'on ne contrôle pas vraiment le nombre de routes sur Internet.
-
C'est dommage, cette histoire va pas aider au déploiement d'IPv6.
Le problème c'est aussi que pour la quasi totalité des routeurs de cet âge, ça demande un changement de profile TCAM et donc un reload du routeur.
Le plus simple pour moi c'est d'ajouter une default route et de filtrer les /24 dans la route-map in déjà dans un premier temps.
Ensuite d'affiner le filtrage. Je pense qu'en France notamment on s'en fout un peu d'apprendre des /24 ou des /23 de /8 asiatiques.
C'est quand même un peu jouer avec le feu que de flirter avec ce genre de limite alors que l'impact est critique et qu'on ne contrôle pas vraiment le nombre de routes sur Internet.
Salut,
Entièrement d'accord, cela pourrait se révéler dangereux et pénalisant,
Les membres de la communauté auraient du / devraient prendre leurs responsabilités, surtout qu'on crie au loup depuis plusieurs années déjà.
Dommage...
-
Il faut aussi préciser également, que certains opérateurs on désactivé IPv6 pour libérer de la places pour les routes IPv4.
Et merde !
On va devoir annoncer un /24 du Department of Defense, US, si ça continue ::)
-
Et merde !
On va devoir annoncer un /24 du Department of Defense, US, si ça continue ::)
Faut sortir l'apocalypse, que le DoD désagrège tous ses /8 en /24 :D
Ca fera paniquer tout le monde :D
-
Faut sortir l'apocalypse, que le DoD désagrège tous ses /8 en /24 :D
Ca fera paniquer tout le monde :D
Salut,
Je pense que c'était ça leur plan pour "contrôler le monde" depuis le départ. Franchement, impressionné venant de la part des ricains ;)
@++
-
Faut sortir l'apocalypse, que le DoD désagrège tous ses /8 en /24 :D
Ca fera paniquer tout le monde :D
Oh, je pense que si une poignée d'AS commence à faire ça, ça va vite faire boule de neige. ::)
-
Le truc inquiétant c'est que le correctif proposé par Cisco se fait au détriment du routage d'IPv6. D'ailleurs en IPv6, le nombre de routes ne va-t-il pas à son tour exploser ?
-
Il n'y a pas beaucoup de routes en v6, l'aggrégation est très forte actuellement
-
Le truc inquiétant c'est que le correctif proposé par Cisco se fait au détriment du routage d'IPv6. D'ailleurs en IPv6, le nombre de routes ne va-t-il pas à son tour exploser ?
Je ne pense pas que ce soit Cisco qui propose de faire ça, je pense que les gens en mode panique reloadent leur routeurs en retirant IPv6 et en changeant leur profil TCAM en full IPv4 pour "faire de la place".
Comme le dit Jack, aujourd'hui IPv6 c'est que ~20K routes, ça va. On peut facilement réduire le profil IPv6 très largement au profit d'IPv4 sans le supprimer.
Par exemple sur une sup720-3BXL, on a en général quelque chose comme :
- 512K routes IPv4
- 256K routes IPv6
On peut très bien faire 800K routes d'IPv4 et moins de 100K routes d'IPv6 (reste ensuite le MPLS et le multicast), pas besoin de passer IPv6 à zéro.
Par contre sur d'autres constructeurs ça peut être plus compliqué sur d'anciens routeurs, Brocade par exemple je crois avait des profils fixes de TCAM, donc tu peux pas ajuster finement. Sur les MLX/XMR et CER (qui n'ont pas la limite hardware) ça ne pose normalement pas de problème de mémoire par contre.
Supprimer IPv6 n'est donc normalement pas une vraie solution dans 90% des cas, ça ne prend pas beaucoup de place et la TCAM s'ajuste sur de nombreux équipements.
Filtrer les /24 d'autres continents me semble être le moindre mal au final. Le vrai problème j'imagine que c'est quand on vend du transit IP avec une full view à des gens, mais dans ce cas là je dirais que c'est quand même très inquiétant de ne pas s'équiper correctement pour le faire et de ne pas avoir plus anticipé...
-
Je ne pense pas que ce soit Cisco qui propose de faire ça, je pense que les gens en mode panique reloadent leur routeurs en retirant IPv6 et en changeant leur profil TCAM en full IPv4 pour "faire de la place".
Je pensais à cette procédure: http://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/117712-problemsolution-cat6500-00.html (http://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/117712-problemsolution-cat6500-00.html)
OK, on a aujourd'hui la place pour IPv6 avec 100k routes mais plus tard ?
Tant que cette obsolescence n'est pas traitée, ça va pas aider ?
-
Par contre sur d'autres constructeurs ça peut être plus compliqué sur d'anciens routeurs, Brocade par exemple je crois avait des profils fixes de TCAM, donc tu peux pas ajuster finement. Sur les MLX/XMR et CER (qui n'ont pas la limite hardware) ça ne pose normalement pas de problème de mémoire par contre.
Sur du Brocade, tu as effectivement des profils pré-définis avec des allocations mémoire par famille... Seulement, rien ne t'empêche de changer les dites valeurs en fonction de tes besoins une fois un profil chargé.
De mémoire, il y a même une feature permettant l'allocation dynamique de mémoire TCAM aux différentes familles en mode "auto". Mais ça, c'est une autre histoire.
My 2 cents.
-
Je pensais à cette procédure: http://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/117712-problemsolution-cat6500-00.html (http://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/117712-problemsolution-cat6500-00.html)
OK, on a aujourd'hui la place pour IPv6 avec 100k routes mais plus tard ?
Tant que cette obsolescence n'est pas traitée, ça va pas aider ?
Bah de toute façon à un moment ou à un autre faut accepter le fait de devoir changer ses routeurs ou de ne plus avoir une full view, c'est un fait tôt ou tard.
La solution reste palliative à court terme, pas à long terme. Mais perso sur des 7600 comme ça j'avais fait ce changement de profil TCAM il y a plus d'un an parce que le risque de dépasser les 512K routes en IPv4 était très largement supérieur au risque de dépasser les 256K routes en IPv6 (mais alors vraiment pour le coup). J'étais passé en 750K IPv4 et 100K IPv6 à l'époque déjà parce que les 100K IPv6 j'avais le temps et que je préfère péter l'IPv6 que l'IPv4 tant qu'à en perdre un. En plus sur ces bestioles il y a parfois des soucis avec le temps et il faut toujours se réserver un peu de marge. Aujourd'hui si j'avais encore de la DFZ sur un 7600 je pense que je monterai encore l'IPv4 à plus que 750K et que je laisserais seulement 50K routes pour l'IPv6 en fait. C'est de la gestion de risque de toute façon à ce niveau.
Bengelly : Oui, en fait je suis plus très sûr selon les modèles entre Jetcore (on va dire que l'Ironcore n'existe plus), les IMR et les MLX/XMR.
Sur les MLX/XMR tu peux effectivement tout configurer finement c'est vrai.
-
Comment vous faites pour avoir plus de 512k routes ?
Chez knet, Ielo nous envoye 439765 routes v4 et Global Crossing 499936
Ou alors, c'est du fait exclusif de l'absence de filtres concernant les subnets de petites tailles ?
-
Bengelly : Oui, en fait je suis plus très sûr selon les modèles entre Jetcore (on va dire que l'Ironcore n'existe plus), les IMR et les MLX/XMR.
Sur les MLX/XMR tu peux effectivement tout configurer finement c'est vrai.
Ouep, je te le confirme pour faire tourner du MLXe et CER-RT sur notre AS.
@+
-
Comment vous faites pour avoir plus de 512k routes ?
Chez knet, Ielo nous envoye 439765 routes v4 et Global Crossing 499936
Ou alors, c'est du fait exclusif de l'absence de filtres concernant les subnets de petites tailles ?
IELO filtre des préfixes, ils n'envoient pas une "vraie" DFZ complète, ils appliquent des règles par rapport aux bases RIPE il me semble. Celle de Global Crossing par contre est bien complète.
Je pense qu'il y a eu plus de préfixes à un moment dans la nuit et que ça a dépassé les 512K. Ca me fait chier de pas avoir encore mis de graph en place pour ça donc je ne peux pas le vérifier là.
Il faut voir aussi si les gens n'ont pas des VRFs avec des réseaux en plus etc à côté.
-
On peut en effet avoir des configs avec deux VRF en full table. J'ai failli m'en faire une sur de l'ASR. Celui qui aura tenté le coup sur un 7600 doit etre content !
-
IELO filtre des préfixes, ils n'envoient pas une "vraie" DFZ complète, ils appliquent des règles par rapport aux bases RIPE il me semble. Celle de Global Crossing par contre est bien complète.
Salut,
Euh, je reçois la full view 500k depuis L3 (3356) et eux aussi filtrent en fonction des objets dans les bases des RIR. Je vois pas trop le rapport, tu peux expliquer stp !?!
Maintenant, je m'attends a ce qu'un Tier1 m'annonce la full view complète sans filtrage. A moi client final de mettre en place les règles de filtrage qui conviennent a ma politique.
Pour les Tier2 et 3, je m'attendrai a ça aussi de leur part mais je comprendrai s'ils droppaient certains prefixes en amont qui polluent leurs équipements. Après tout, tout le monde ne dispose des mêmes moyens financiers $$$.
Ou alors, quelque chose m'a peut-être échappé...
-
Salut,
Euh, je reçois la full view 500k depuis L3 (3356) et eux aussi filtrent en fonction des objets dans les bases des RIR. Je vois pas trop le rapport, tu peux expliquer stp !?!
Maintenant, je m'attends a ce qu'un Tier1 m'annonce la full view complète sans filtrage. A moi client final de mettre en place les règles de filtrage qui conviennent a ma politique.
Pour les Tier2 et 3, je m'attendrai a ça aussi de leur part mais je comprendrai s'ils droppaient certains prefixes en amont qui polluent leurs équipements. Après tout, tout le monde ne dispose des mêmes moyens financiers $$$.
Ou alors, quelque chose m'a peut-être échappé...
Pour être honnête, les mecs de IELO m'avaient expliqué sur quoi ils filtraient, mais j'ai plus trop souvenir du détail, je vais regarder si je retrouve ça. Pour moi c'est un complèment donc je n'y ai pas attaché une grande importance.
Par contre même si je suis d'accord avec toi sur les moyens, je ne suis pas trop ravi de savoir qu'un transitaire ne m'envoie pas toutes les routes. Parce que comme tu dis c'est à moi de "gérer" ce que je veux et ce que je ne veux pas qu'on décide pour moi de ce qu'il en est (un peu comme on aime avec un internet "neutre" à la maison)
-
Ah et sinon j'ai cru comprendre que le soucis était apparu à 500k et pas 512k. J'ai plus les détails et l'explication par contre, je suis désolé.
-
Pour être honnête, les mecs de IELO m'avaient expliqué sur quoi ils filtraient, mais j'ai plus trop souvenir du détail, je vais regarder si je retrouve ça. Pour moi c'est un complèment donc je n'y ai pas attaché une grande importance.
Par contre même si je suis d'accord avec toi sur les moyens, je ne suis pas trop ravi de savoir qu'un transitaire ne m'envoie pas toutes les routes. Parce que comme tu dis c'est à moi de "gérer" ce que je veux et ce que je ne veux pas qu'on décide pour moi de ce qu'il en est (un peu comme on aime avec un internet "neutre" à la maison)
C'est bien pour cela que j'utilisais le conditionnel, on est donc d'accords :-). Un transitaire = full view... Sinon, on pourrait appeler ça du peering...
C'est pour cela que ta remarque sur le transit IELO m'a surpris, pour ne pas dire choqué... Je serai intéressé de connaître le fin mot de cette histoire a l'occasion.
-
J'ai posé la question à IELO il y a quelques jours vu qu'on bosse avec eux désormais. Pas de réponses pour l'instant, mais j'ai pas relancé et on a autre chose à faire :)
De toute façon, il est toujours nécessaire d'avoir plusieurs transitaires avec une full view, je serais-ce que pour la résiliance en cas d'incident majeur chez un transitaire.
De notre coté, à notre échelle, on a le soucis sur la TCAM dédié à l'OSPF sur nos routeurs de salle. En attendant de migrer => J'ai flingué l'Ipv6. Oui c'est crade, mais ça juste marche.
On bascule sur du MLX dans quelques semaines, le temps de faire la conf.
Pour la full view, on avait prévu le coup au début, on a acheté du CER typé RT avec 1.5M de routes ipv4 et 256k routes ipv6. On est serein pour un loooong moment. Un commercial Brocade m'a dit que c'était la folie chez eux en ce moment. Beaucoup de migration vers ces routeurs là justement pour upgrader la dispo Tcam.
Bref, ce sont des choses qui s'anticipent, avec un cout qui est très maitrisé en amont.
-
C'est bien pour cela que j'utilisais le conditionnel, on est donc d'accords :-). Un transitaire = full view... Sinon, on pourrait appeler ça du peering...
C'est pour cela que ta remarque sur le transit IELO m'a surpris, pour ne pas dire choqué... Je serai intéressé de connaître le fin mot de cette histoire a l'occasion.
Bon je viens d'extraire le diff de routes entre Level 3 et Ielo, il semble y avoir beaucoup de préfixes désagrégés pas parfaitement déclarés sur les RIR dans le lot (découpage de préfixe mais pas de découpage au niveau whois).
Il y a aussi des différences "normales" de routes en plus ou en moins entre les 2 mais 60K routes de moins pour IELO dans le lot quand même.
Par exemple 64.206.0.0/16 (ARIN) a des sous préfixes annoncés chez Level 3 (60) et n'en a pas chez IELO :
Level 3 :
64.206.0.0/16
64.206.0.0/19
64.206.9.0/24
64.206.32.0/20
64.206.32.0/24
64.206.37.0/24
64.206.39.0/24
64.206.43.0/24
64.206.48.0/21
64.206.56.0/22
64.206.60.0/22
64.206.64.0/22
64.206.68.0/22
64.206.72.0/21
64.206.80.0/22
64.206.84.0/22
64.206.88.0/21
64.206.96.0/21
64.206.98.0/24
64.206.104.0/21
64.206.112.0/21
64.206.114.0/24
64.206.120.0/22
64.206.123.0/24
64.206.124.0/22
64.206.128.0/22
64.206.132.0/22
64.206.136.0/22
64.206.140.0/22
64.206.144.0/22
64.206.148.0/22
64.206.152.0/22
64.206.156.0/22
64.206.160.0/22
64.206.164.0/22
64.206.168.0/22
64.206.172.0/22
64.206.175.0/24
64.206.176.0/22
64.206.180.0/22
64.206.184.0/22
64.206.188.0/22
64.206.192.0/22
64.206.196.0/22
64.206.200.0/22
64.206.204.0/22
64.206.208.0/22
64.206.212.0/22
64.206.216.0/24
64.206.221.0/24
64.206.223.0/24
64.206.224.0/22
64.206.228.0/22
64.206.231.0/24
64.206.232.0/22
64.206.235.0/24
64.206.236.0/22
64.206.240.0/22
64.206.244.0/22
64.206.248.0/22
64.206.252.0/22
Ielo :
64.206.0.0/16
-
J'ai posé la question à IELO il y a quelques jours vu qu'on bosse avec eux désormais. Pas de réponses pour l'instant, mais j'ai pas relancé et on a autre chose à faire :)
De toute façon, il est toujours nécessaire d'avoir plusieurs transitaires avec une full view, je serais-ce que pour la résiliance en cas d'incident majeur chez un transitaire.
De notre coté, à notre échelle, on a le soucis sur la TCAM dédié à l'OSPF sur nos routeurs de salle. En attendant de migrer => J'ai flingué l'Ipv6. Oui c'est crade, mais ça juste marche.
On bascule sur du MLX dans quelques semaines, le temps de faire la conf.
Pour la full view, on avait prévu le coup au début, on a acheté du CER typé RT avec 1.5M de routes ipv4 et 256k routes ipv6. On est serein pour un loooong moment. Un commercial Brocade m'a dit que c'était la folie chez eux en ce moment. Beaucoup de migration vers ces routeurs là justement pour upgrader la dispo Tcam.
Bref, ce sont des choses qui s'anticipent, avec un cout qui est très maitrisé en amont.
Faut dire qu'il y a tous leurs clients qui ont acheté du MLX génération précédente et du CER normal qui ont mal là.
J'ai bossé des années avec Foundry puis Brocade, j'aime bien le rapport qualité/prix et les perfs des boîtes, mais entre les bugs à l'époque et le support (malgré les efforts en local de 2 mecs en France là pour passer les nuits avec les clients et qui sont partis ailleurs), je n'en reprendrai plus si j'ai le budget pour autre chose.
Et depuis que Brocade a mis sa patte dessus, j'ai vraiment du mal commercialement avec eux :/
Mais bon c'est un autre sujet.
Me demande d'ailleurs du coup si IELO traine pas des MLX limités à 512K routes (ou des cartes) qui les poussent à filtrer des choses.
-
Bon je viens d'extraire le diff de routes entre Level 3 et Ielo, il semble y avoir beaucoup de préfixes désagrégés pas parfaitement déclarés sur les RIR dans le lot (découpage de préfixe mais pas de découpage au niveau whois).
Il y a aussi des différences "normales" de routes en plus ou en moins entre les 2 mais 60K routes de moins pour IELO dans le lot quand même.
Salut,
Ca ne me choque pas spécialement. Les transitaires doivent mettre en place des filtres génériques avec des opérateurs type "ge" ou "le" en matchant les objets route sur le préfixe attribué initialement des bases RIRs pour laisser de la flexibilité à leurs clients finaux.
Tu imagines ? mettre à jour une prefix-list à chaque nouvelle annonce pour des Tier1 type Level3 !!! Surtout quand ils ont des clients types ISP nationaux qui annoncent des dizaines de préfixes en les désaggrégant (à tort ou à raison) sans cesse. La tailles des configurations des équipements exploserait au vol.
Et pour nous, LIR "finaux", le travail que cela représenterait de créer des objets route plus spécifiques à chaque nouvelle annonce !?! Je pense que les DB des RIRs exploseraient au vol et on aurait un nouveau troll sur les bras ;)
@++
-
J'ai bossé des années avec Foundry puis Brocade, j'aime bien le rapport qualité/prix et les perfs des boîtes, mais entre les bugs à l'époque et le support (malgré les efforts en local de 2 mecs en France là pour passer les nuits avec les clients et qui sont partis ailleurs), je n'en reprendrai plus si j'ai le budget pour autre chose.
Salut,
Oui, d'accord pour la partie rapport qualité/prix et perfs. Ca tient la route une fois que c'est bien tuné, ça ronronne tout seul dans son coin.
Pour la partie bug et support, ca s'est amélioré avec le temps mais ce n'est pas encore parfait. Mais bon, comme pour tous les $constructeurs.
Pour l'accompagnement, Starsky et Hutch comme j'aime à les appeler nous manquent à tous, c'est sur ! Mais bon, la relève fait de son mieux et est présente pour nous accompagner.
Après, comme tu dis, tout dépends de ton business case à l'instant T et de ton budget.
@++
-
Je pense qu'il y a eu plus de préfixes à un moment dans la nuit et que ça a dépassé les 512K. Ca me fait chier de pas avoir encore mis de graph en place pour ça donc je ne peux pas le vérifier là.
Suffisait de demander, voila ce que ca donnait sur un de mes routeurs de coeur PE.
(https://lafibre.info/images/peering/201408_nombre_routes_ipv4.jpg)
@++
-
Ah oui ça a un peut secoué Mardi en effet :) ::)
a voir maintenant quels en seront les enseignements.
Cdt
Bensay