La Fibre
Télécom => Peering Transit (appairage) => IXP => Discussion démarrée par: Hugues le 25 octobre 2017 à 13:34:38
-
.... Ce qui a fait tomber une partie des pairs qui n'avaient pas mis à jours leurs max-prefix (genre moi :D)
Et du coup le route-server a perdu la moitié de ses routes depuis :/
(https://pix.milkywan.fr/vM0Pd6S8.png)
Des gros pairs comme Bouygues Telecom, Hurricane Electric, Completel sont down (sur les RS).
Et l'IX a perdu 150Gbit/s par rapport à hier.
(https://pix.milkywan.fr/nIfPd7C6.png)
Maintenant il est conseillé de passer les max-prefix à 125k, personnellement je me base sur PeeringDB pour mes Max-Prefix, et il était encore indiqué à 100k hier.
Visiblement, c'est consécutif à l'ajout d'un peer qui annoncaient 7,5k routes, je pense qu'un mail pour avertir AVANT aurait été plus judicieux, m'enfin.. :D
-
maximum-prefix warning-only :)
-
Bof, j'ai pas une totale confiance dans les RS, je préfère un vrai max-prefix (je ne connais pas warning-only, j'imagine que comme son nom l'indique il ne fait qu'avertir ?), mais je vais implèmenter du warning sur mes nouveaux joujous ouais !
-
Maintenant il est conseillé de passer les max-prefix à 125k, personnellement je me base sur PeeringDB pour mes Max-Prefix, et il était encore indiqué à 100k hier.
Visiblement, c'est consécutif à l'ajout d'un peer qui annoncaient 7,5k routes, je pense qu'un mail pour avertir AVANT aurait été plus judicieux, m'enfin.. :D
Le comportement le plus prudent aurait été de demander des sessions de peering avec les peers les plus importants EN PLUS du des RS pour minimiser l'impact.
Ca te fera un peu d'exercice avec les route-map, c'est pas plus mal :)
-
C'est déjà fait, merci bien :)
Parait que je connais un minimum mon boulot, hein.
-
C'est un peu remonté depuis que Hurricane est Up :)
(https://pix.milkywan.fr/zE0awzWj.png)
-
Pardon d'avoir fait doublon.
D'accord avec Optix sur le fait de faire des sessions avec les peers importants.
Encore faut il qu'il le veuille...
-
Ce qui serait bien c'est quelqu'un chez bytel re-active ses sessions sur les RS...
-
maximum-prefix warning-only :)
Le jour un un peer qui vient de loin (via remote-peering) se met a deverser une table globale sur les RS (ou meme sur une session directe) tu serais content si la session est coupee...
-
Ben la limite reste hein, c'est jusque qu'au lieu de permettre à n'importe qui de me couper mon IX, je log et je refuse les routes supplèmentaires
Un type annonce des routes et coupe bytel de franceix, ça ne me tente pas :)
-
Pour ce cas precis tu peux effectivement argumenter que ne pas couper la session c'est la bonne demarche. C'est parce-que plusieurs n'ont pas correctement fait leur boulot en amont :
- Cote FranceIX, pour ne pas avoir annonce sur l'augmentation des max-prefix a utiliser avant, vers 75-80K routes
- Cote membres impactes (dont bytel, moi-meme, et plein d'autres) pour ne pas avoir fait l'augmentation de facon unilaterale sur les memes criteres.
Encore une fois, le max-prefix est la pour proteger contre des erreurs, et couper la connexion est dans la plupart des cas le meilleur chose à faire.
Pour lecture : https://www.mail-archive.com/nanog@nanog.org/msg92278.html
-
Ben la limite reste hein, c'est jusque qu'au lieu de permettre à n'importe qui de me couper mon IX, je log et je refuse les routes supplèmentaires
Un type annonce des routes et coupe bytel de franceix, ça ne me tente pas :)
Tu refuses rien là, tu logs des trucs. C'est super.
Du coup il y a un tocard qui déverse une fullview, tu logs des trucs. Ton service est entièrement HS parce que tu balances ton traf vers ledit tocard (qui dispose avec de la chance d'un port 100M donc ça ne risque pas de passer), donc ton traf part à la poubelle. Par contre t'as loggé des trucs, c'est top.
Bref, à mon sens tu préfères perdre les RS d'un IX (cad pas tout l'IX) que perdre ton service.
-
Tu refuses rien là, tu logs des trucs. C'est super.
Non
Oct 25 13:52:47:E:BGP: No. of prefix received from BGP Peer 192.65.185.1: exceeded maximum limit 25000
#sh ip bgp sum | inc 192.65.185.1
192.65.185.1 57859 ESTAB 23d12h59m 24997 1 43 0
Merci raf pour le lien
-
Mais ca ca marche parce-que tu filtres, que ton peer a un AS-MACRO utilisable pour que tu generes les filtres, et qu'ils n'ont jamais merde avec un leak de routes re-originies.
Have fun sur les RS equinix avec des tels pre-requis :) Deja que sur FranceIX ca genere des monstres de config.
De mon cote je prefere couper les sessions avec les RS et rester temporairement avec les peers avec lesquels j'ai des sessions directes... ou sur l'autre IXP :P
-
Normalement les RS FranceIX shut rapidement les sessions sur les max-prefix (je le sais j'ai fait de la ### hier, mais j'ai une bonne excuse).
Et comme bientôt tous sera bien filtré sur les RS on sera safe.
-
Et comme bientôt tous sera bien filtré sur les RS on sera safe.
On voit ce que ça a donné sur AMS-IX semaine dernière :P
@++
-
France-IX va contrôler (comme le font déjà les gros transitaires) que tu n’annonces que les plages IP qui t'on été allouées et pas celle d'un autre ?
-
Alors si j'ai bien compris, ils vont verifier si il y'a bien ton AS en Origin dans l'IRR de ton préfixe.
Exemple pour mon préfixe v4 : https://bgp.he.net/net/185.126.228.0/22#_irr
J'ai bien "origin: AS203698" pour mon préfixe, donc tout va bien :)
Après y'a aussi ROA, mais alors ça, je crois qu'ils n'ont pas prévu de le mettre en place (et je n'y connais rien du tout :/)
-
Actuellement, les routes "incorrectes" disposent de communautés adaptés
Le vote de vendredi dernier portait sur le comportement du route serveur: doit-il conserver le système actuel, ou doit-il supprimer ces annonces défectueuses ?
Voici les communautés utilisées chez France-IX pour tagger les routes :
51706:65012 = Préfixe avec statut ROA: VALID
51706:65022 = Préfixe avec statut ROA: INVALID
51706:65023 = Préfixe avec statut ROA: UNKNOWN
51706:65011 = Préfixe présent dans les IRR et lié à l’AS/AS-SET
51706:65021 = Préfixe non présent dans les IRR et/ou non lié à l’AS/AS-SET
Pour les ROA, il suffit de configurer le RPKI: aller sur https://my.ripe.net/#/rpki et valider les annonces qui existent :)
-
Tiens je vais essayer de les drop à l'occasion pour voir ce que l'on perd..
-
Même si les transits vérifie les annonces, on a déjà vu qu'un membre qui peer beaucoup et qui annonce des IP qui ne sont pas à lui a un grand pouvoir de nuisance.
J'ai de mémoire un opérateur étranger qui avait sa plage IP annoncé par OVH.
Il avait contacté un a un les peer d'OVH pour demander de filtrer les annonces d'OVH.
Je ne sais pas si vous en savez plus sur ce vieux cas (pourquoi OVH n'a pas rapidement supprimé l'annonce défectueuse).
-
On voit ce que ça a donné sur AMS-IX semaine dernière :P
@++
Qu'est ce qui s'est passé sur Amsix encore ? enfin safe c'est effectivement un bien grand mot. Il restera encore toutes les saloperies L2 inhérentes à un IX.
-
C'est marrant, je lis des choses qui me choquent en fait :
- Faire confiance au RS alors qu'il est toujours préférable d'être prudent vis à vis de ses fournisseurs et de sécuriser ce qu'on peut sécuriser de son côté.
- Avoir un problème de trafic lorsqu'une session BGP avec un RS tombe.
-
C'est marrant, je lis des choses qui me choquent en fait :
- Faire confiance au RS alors qu'il est toujours préférable d'être prudent vis à vis de ses fournisseurs et de sécuriser ce qu'on peut sécuriser de son côté.
- Avoir un problème de trafic lorsqu'une session BGP avec un RS tombe.
Faire confiance à afenioux me parait être une bonne chose !
(oui, faire du filtrage ROA chez soi est une bonne idée, malheureusement ce n'est pas le cas)
Pour le deuxième point en revanche, je suis tout à fait en phase avec toi
Des transitaires capables d'absorber l'intégralité du trafic IX / d'un autre transitaire me parait être le minimum
-
Des transitaires capables d'absorber l'intégralité du trafic IX / d'un autre transitaire me parait être le minimum
Perso, je vois les IX comme un complèment dans mon Mix :
Je peux couper tous mes IX demain, les transits peuvent reprendre la charge sans souci.
Les IX, c'est pour le coté éthique, open et pour améliorer un peu la qualité/redondance vers certains peers :)
Après, les IX représentent un pourcentage relativement faible de mon trafic total (une 20aine de %).
-
Après, les IX représentent un pourcentage relativement faible de mon trafic total (une 20aine de %).
Chez nous on est plus à 70-80% :o Active un peer avec OVH et ca va monter ;)
-
J'ai déjà un peering avec eux :)
Après je n'ai quasiment aucune session en dehors des RS aujourd'hui (une demi douzaine, c'est volontaire, et c'est amené à changer d'ici demain soir ::) )
Je monte un nouveau backbone, donc j'ai fait le choix de ne pas toucher à l'ancien :)
-
Faire confiance à afenioux me parait être une bonne chose !
(oui, faire du filtrage ROA chez soi est une bonne idée, malheureusement ce n'est pas le cas)
Pour le deuxième point en revanche, je suis tout à fait en phase avec toi
Des transitaires capables d'absorber l'intégralité du trafic IX / d'un autre transitaire me parait être le minimum
Faire confiance entièrement à un fournisseur est une erreur, plus encore quand la confiance se base sur une personne qui s'y trouve. L'erreur est humaine d'une part et d'autre part on ne sait pas ce qui peut se passer et quand ça se passe on dépend d'un autre. Ce n'est pas du tout une critique de ce cher Arnaud ou de quelque fournisseur que ce soit, c'est une pratique normale, comme l'adage "la confiance n'exclut pas le contrôle".
Pour moi le travail d'admin consiste à ne pas dépendre aveuglèment d'un fournisseur et d'être capable de gérer soi même les problèmes potentiels au maximum, le principe de ceinture bretelles.
My 2 cents.
-
Je monte un nouveau backbone, donc j'ai fait le choix de ne pas toucher à l'ancien :)
Je pense que c'est la solution la plus sure. Remplacer un à un tous les équipements sur un réseau en prod, cela peut amener à des déconvenues...
-
Qu'est ce qui s'est passé sur Amsix encore ? enfin safe c'est effectivement un bien grand mot. Il restera encore toutes les saloperies L2 inhérentes à un IX.
Depuis l'activation du filtrage RPKI / ROA, la moitié des routes ne sont plus annoncées par les RS.
Alors, après, on peut changer ça via leur portail mais cela montre à quel point des mecs qui n'y comprennent rien / s'en foutent / déroulent des process de plusieurs années pour cliquer sur un bouton peut impacter notre industrie.
@++
-
Faire confiance entièrement à un fournisseur est une erreur, plus encore quand la confiance se base sur une personne qui s'y trouve. L'erreur est humaine d'une part et d'autre part on ne sait pas ce qui peut se passer et quand ça se passe on dépend d'un autre. Ce n'est pas du tout une critique de ce cher Arnaud ou de quelque fournisseur que ce soit, c'est une pratique normale, comme l'adage "la confiance n'exclut pas le contrôle".
Pour moi le travail d'admin consiste à ne pas dépendre aveuglèment d'un fournisseur et d'être capable de gérer soi même les problèmes potentiels au maximum, le principe de ceinture bretelles.
My 2 cents.
Je suis en phase avec toi.
Perso, j'essaye aussi de rajouter la parachute par dessus tout cela. On n'est jamais trop surs.
@++
-
Depuis l'activation du filtrage RPKI / ROA, la moitié des routes ne sont plus annoncées par les RS.
Alors, après, on peut changer ça via leur portail mais cela montre à quel point des mecs qui n'y comprennent rien / s'en foutent / déroulent des process de plusieurs années pour cliquer sur un bouton peut impacter notre industrie.
Il y a deux sens pour comprendre ton message :
- Des peer ne comprennent rien à BDG et annoncent des IP qui ne sont pas à eux.
- AMS-IX à mis en pod un filtrage sans même s'assurer qu'il fonctionne correctement.
Quel sens est le bon ? (je n'ai pas suivit l'affaire et je n'ai pas compris si les routes bloquées sont légitimes ou non)
-
- Des peer ne comprennent rien à BDG et annoncent des IP qui ne sont pas à eux.
BDG (que je ne connaitrais pas), ou BGP ?
-
Il y a deux sens pour comprendre ton message :
Quel sens est le bon ?
Aucun des deux.
Même si la route est légitime, il faut maintenant qu'il y ait un objet ROA correspondant chez un RIR pour que les RS de l'AMSIX les réannoncent (par défaut).
Toutefois il est bien entendu que seule une partie des routes ont été signées puisque:
- jusqu'à présent ça ne servait à rien
- il y a quelques années ça n'existait juste pas
- plein de tocards ne lisent pas les mailing-lists
- plein de tocards ne comprennent rien
- plein de tocards sont trop lourds pour que quelqu'un s'y saisisse du sujet ("pas mon périmètre")
Donc, concernant le filtrage, il fonctionne correctement.
-
Aucun des deux.
Même si la route est légitime, il faut maintenant qu'il y ait un objet ROA correspondant chez un RIR pour que les RS de l'AMSIX les réannoncent (par défaut).
Toutefois il est bien entendu que seule une partie des routes ont été signées puisque:
- jusqu'à présent ça ne servait à rien
- il y a quelques années ça n'existait juste pas
- plein de tocards ne lisent pas les mailing-lists
- plein de tocards ne comprennent rien
- plein de tocards sont trop lourds pour que quelqu'un s'y saisisse du sujet ("pas mon périmètre")
Donc, concernant le filtrage, il fonctionne correctement.
Merci pour les clarifications Symbol, c'est exactement le sens de mon message initial. J'insiste sur lourdement sur l'aspect tocards.
L'impact opérationnel c'est que les RS AMS-IX n'annoncent plus que qlq 80k routes, là où y'en avait avant 160k (source équipes techniques AMS-IX) :
80.249.208.255 6777 ESTAB 5d17h50m 82558 156 3 0
80.249.209.0 6777 ESTAB 5d17h48m 82565 156 3 0
Je ne peux pas te dire l'impact en IPv6, je n'ai pas le chiffre pré-activation filtrage :
2001:7f8:1::a500:6777:1 6777 ESTAB 5d17h51m 8818 4 2 0
2001:7f8:1::a500:6777:2 6777 ESTAB 5d17h54m 8860 4 2 0
Il faut noter que la mise en place de cette mesure fait suite à un débat au sein de la communauté AMS-IX.
La même chose a eu lieu pour le France-IX il y a moins d'un mois avec le lancement d'un vote. Le résultat ne saurait trop tarder à tomber, le filtrage IRR + RPKOI/ROA deviendra le standard à mon sens.
@++