Auteur Sujet: [TEST] Transit IP FranceIX  (Lu 2051 fois)

0 Membres et 1 Invité sur ce sujet

Hexicans

  • AS212815 Officiel Dyjix
  • Expert
  • *
  • Messages: 68
  • Niort (79)
    • Dyjix
[TEST] Transit IP FranceIX
« le: 30 décembre 2023 à 23:45:13 »
Le service testé est amené à évoluer les mois prochain d'après la communication du fournisseur

Hello à tous,

Pour ceux qui n'ont pas suivi les actualités de fin d'année, FranceIX (point d'échange internet) a mis en service une nouvelle offre permettant de distribuer du transit IP avec les caractéristiques suivantes :

Repose sur un acteur de qualité Tier 1 : Orange 5511 ;
Mise en œuvre ultra rapide en 3 jours ;
Redondance avec 2 accès 100 Gbit/s sur 2 PoPs différents ;
Peut être complété par du peering sur le même port ou sur un port dédié ;
Accessible en Metro ou National grâce au réseau redondé ;
De 100 Mbit/s à 100 Gbit/s sans « rate-limit », offres souples ;
Engagement de qualité de service par SLA ;
Protection Anti-DDoS optionnelle ;
Sécurité de routage RPKI ;
NOC 24x7 avec expertise et accès privilégié de France-IX au support Orange.

Engagement de disponibilité

Report des SLA présents dans le contrat de Transit Orange 5511 ;
Disponibilité 99,95 % et jusqu’à 100 % si le client est doublement attaché sur 2 PoPs a l’infrastructure France-IX ;
GTR 4h ;
Pertes de paquets < 0,1 %.

Protection anti-DDoS

Filtrage Anti-DDoS : filtrage réalisé et déclenché par France-IX ;
Orange peut absorber une charge importante et mitiger à plusieurs endroits de la planète ;
Accompagnement réactif de France-IX dans les mitigations ;
Disponibilité du service de mitigation : 99,999 %.

Redondance :

Un double attachement à Orange AS5511 (OTI) sur deux équipements France-IX différents à Telehouse 2 et Interxion PAR5 ;
2 ports 100G avec OTI.

Test :

Après ces arguments béton, me voilà conquis pour tester cette nouvelle offre via un de nos partenaires.
Nous avons donc mis en production la connectivité via notre partenaire hier soir. C'est ainsi que j'ai annoncé nos 100 préfixes IPv4 et environ 40 IPv6. J'ai pu constater que la whitelist de prefix-list n'était pas automatique. Dans notre cas, on rajoute des préfixes chaque jour et on ne peut pas contacter chaque transitaire pour s'assurer qu'il a bien pris en compte tous les préfixes. Nous avons demandé pourquoi le préfixe 2a10:4641::/32 ne passait pas, ils nous ont notifié qu'ils l'ont ajouté. Mais qu'en est-t-il pour l'IPv4 ? Et bien, la personne n'a pas update V4+V6 !  >:(

D'après les informations sur la page FranceIX, la société dispose de deux adductions orange différentes avec 2 session BGP (IPv4+IPv6) par lien.

Lorsque nous avons annoncé nos préfixes et que la max-limit sur notre session était levée, nous avons fait sauter les sessions IPV4/IPv6 de FranceIX <-> Orange (20h58 le 29/12/2023).
La fullview n'était constituée plus que de.. 35 préfixes.

L'uptime garanti de 99.95% du service (et 100% si doublement adducté) est donc loin d'être garanti. Nous avons mis plus de 2h30 à avoir à nouveau du transit, mais sans possibilité d'annoncer nos préfixes. Nous avons pu annoncer à nouveau nos préfixes ce midi, soit plus de 12 heures après l'incident. La GTR 4h a failli se transformer en GTR 4 jours.
Pendant les premières 1h30 de coupure, il n'y a pas eu une seule communication de la part de FranceIX à propos de l'incident.

Plusieurs questions me parviennent :
1) FranceIX semble avoir 2x100G avec orange, que font-t-il si un client se fait ddos avec 500Gbps ? Coupent-t-ils l'annonce BGP ?
2) Comment une erreur si bête peut arriver, et surtout le fait d'avoir des max-limit aussi basses (50IPv4/20IPv6 d'après peeringdb) pour un transitaire qui se veut revendeur ?
3) Qu'en pensez-vous ?

Source : https://www.franceix.net/fr/services/peering/transit-ip-avec-protection-antiddos

Si vous avez des questions sur ce transit, n'hésitez pas !
« Modifié: 31 décembre 2023 à 01:40:08 par Hexicans »

Hexicans

  • AS212815 Officiel Dyjix
  • Expert
  • *
  • Messages: 68
  • Niort (79)
    • Dyjix
[TEST] Transit IP FranceIX
« Réponse #1 le: 31 décembre 2023 à 00:24:59 »
On subit une attaque de 245Gbps environ. J'en ai profite pour mettre le préfixe visé (/24 entier) sur le transit orange.

J'ai pu constater du packet loss, mais FranceIX non. On a peu de visibilité pour l'instant donc on avancera pas plus d'informations là-dessus.
« Modifié: 31 décembre 2023 à 13:39:10 par Hexicans »

Squalala

  • Expert France-IX
  • Expert
  • *
  • Messages: 57
  • 75020
[TEST] Transit IP FranceIX
« Réponse #2 le: 31 décembre 2023 à 19:33:09 »
Hello Axel, et tout le monde ici !

Je me permet de répondre (un dimanche 31 décembre) en tant que France-IX pour répondre aux points que tu soulèves en toute transparence sur ce forum :)


Test :

Après ces arguments béton, me voilà conquis pour tester cette nouvelle offre via un de nos partenaires.
Nous avons donc mis en production la connectivité via notre partenaire hier soir. C'est ainsi que j'ai annoncé nos 100 préfixes IPv4 et environ 40 IPv6. J'ai pu constater que la whitelist de prefix-list n'était pas automatique. Dans notre cas, on rajoute des préfixes chaque jour et on ne peut pas contacter chaque transitaire pour s'assurer qu'il a bien pris en compte tous les préfixes. Nous avons demandé pourquoi le préfixe 2a10:4641::/32 ne passait pas, ils nous ont notifié qu'ils l'ont ajouté. Mais qu'en est-t-il pour l'IPv4 ? Et bien, la personne n'a pas update V4+V6 !  >:(

D'après les informations sur la page FranceIX, la société dispose de deux adductions orange différentes avec 2 session BGP (IPv4+IPv6) par lien.

Lorsque nous avons annoncé nos préfixes et que la max-limit sur notre session était levée, nous avons fait sauter les sessions IPV4/IPv6 de FranceIX <-> Orange (20h58 le 29/12/2023).
La fullview n'était constituée plus que de.. 35 préfixes.

L'uptime garanti de 99.95% du service (et 100% si doublement adducté) est donc loin d'être garanti. Nous avons mis plus de 2h30 à avoir à nouveau du transit, mais sans possibilité d'annoncer nos préfixes. Nous avons pu annoncer à nouveau nos préfixes ce midi, soit plus de 12 heures après l'incident. La GTR 4h a failli se transformer en GTR 4 jours.
Pendant les premières 1h30 de coupure, il n'y a pas eu une seule communication de la part de FranceIX à propos de l'incident.

Plusieurs questions me parviennent :
1) FranceIX semble avoir 2x100G avec orange, que font-t-il si un client se fait ddos avec 500Gbps ? Coupent-t-ils l'annonce BGP ?
2) Comment une erreur si bête peut arriver, et surtout le fait d'avoir des max-limit aussi basses (50IPv4/20IPv6 d'après peeringdb) pour un transitaire qui se veut revendeur ?
3) Qu'en pensez-vous ?


Effectivement, je confirme que toute la description du service est exacte, le service n'a aucun SPOF physique (routeurs + PoP + backbone divers), et surtout, comme il n'est pas rate-limité : tout ce qui peut arriver jusqu'à vous doit arriver jusqu'à vous (sauf blackholing et option d'anti-DDoS). France-IX s'engage contractuellement à une disponibilité sur ce nouveau service ce qui n'était historiquement pas le cas sur le peering. Dans le cas d'un non respect des SLA, tout est décrit dans le contrat, le client à le droit de demander des pénalités, ce qui est le standard du marché. Je confirme également que France-IX a un NOC 24/7 et une astreinte de niveau deux qui permet de répondre aux demandes et/ou incidents, y compris complexe, en un temps minimal.

Petit disclaimer : Dijyx n'est dans le cas présent pas notre client, mais un client final (ce qui ne nous empêche par ailleurs pas de répondre aux solicitations pour rendre cela le plus fluide possible).

Dans le cas que tu évoques dans ton premier message soyons clairs : oui, nous aurions dû faire mieux, et nous nous considérons fautifs. Les Max-Pref étaient trop bas, cela a été corrigé, en lien avec Orange à 23h30 CET le 29/12. Je ne comprends cependant pas ton point sur les Prefix-List IPv4 et IPv6 puisque mon collègue a indiqué dans le ticket (le 29/12 à 15h20 CET) que tous les préfixes avaient été mis à jour. Pour la mise à jour de ces PL, elles ne sont effectivement pas automatiques pour le moment (contrairement au peering), et c'est un sujet qui est bien évidemment déjà en roadmap. C'est effectivement dommage que cela n'ai pas été fait plus tôt, France-IX reste cependant une structure qui n'a pas des moyens illimités, et le service ciblait initialement surtout des toutes petites structures, qui n'ont besoin de mettre à jour leur PL qu'occasionnellement. Il y a à présent une marge supplémentaire pour permettre à nos clients d'annoncer bien plus de préfixes sans qu'aucun autre ne puisse être impacté par un max-pref des upstreams de l'AS39801.

Sur les sujets des SLA, comme je l'ai évoqué plus haut, tout cela est encadré par le contrat. On peut également débattre du fait que compter des ajouts de préfixes doit compter dans la GTR ou non, ce qui ne veut pas dire pour autant qu'on ne va pas améliorer cet aspect comme je l'ai écrit plus haut. Le retour du service à son état précédent a été fait en 2h30 comme tu le mentionnes.

Par ailleurs, sur le sujet du support, nous allons améliorer le monitoring pour que notre NOC 24/7 soit plutôt proactif lorsqu’une session BGP tombe et n’ait pas à à attendre qu’un ticket soit ouvert pour réagir (et ce dans les 45 minutes). Par ailleurs, pour ce genre de sujet, un numéro de téléphone pour appeler notre NOC existe, et cela permet d'être bien plus réactif que des mails.

Pour répondre aux questions que tu poses :

1) Par défaut, nous ne faisons rien tant qu’on n’a pas observé une saturation des 2 accès Orange. Le cas hypothétique que tu poses (500Gbps qui rentrent par un seul transit, et qui pourrait donc saturer la capacité de Transit de l'AS39801), le client aura probablement fait un RTBH pour se protéger. Le cas de figure pour couper le service d’un client est vraiment le cas extrême. Nous n'avons pour le moment pas prévu de drop le service d'un client qui se ferait DDoS, et nous ajouterons de la capacité au fil des besoins. Par ailleurs, un client qui serait fortement sujet au DDoS aurait tout de même tendance à prendre l'offre associée de mitigation DDoS pour éviter d'impacter son propre service final.

2) La raison de l'erreur est surtout le type de client initialement envisagé (des gens avec un ou deux préfixes), où nous pensions pouvoir simplement voir venir. Ça n'est pas le cas et a été corrigé. Par ailleurs, cet AS ne sert pas qu'à cela.

3) Je pense en toute transparence que le service est perfectible, vos retours sont importants pour comprendre quels sont les éléments que vous voulez voir venir.

Pour ton second message :

On subit une attaque de 245Gbps environ. J'en ai profite pour mettre le préfixe visé (/24 entier) sur le transit orange.

J'ai pu constater du packet loss, mais FranceIX non. On a peu de visibilité pour l'instant donc on avancera pas plus d'informations là-dessus.

Non, il n'y a eu aucun paquet loss (en tout cas chez nous), y compris sur le port du client final (10G vs nos 2x100G au dessus). Cela sous-entends donc (si les 10G n'ont pas sauré) qu'il n'y a pas eu plus de 10G à rentrer par ce biais.

Pour les deux screenshot :
Le premier, l'autre client semble voir du drop ICMP (ce qui n'est par ailleurs pas un signe certain de saturation) en permanence, probablement lié à un rate-limiteur sur le routeur. Voici par exemple un mtr que j'ai pris sur un peu moins d'1h30 (reproductible par qui le souhaite) depuis chez moi :

Citer
                             My traceroute  [v0.95]
MBPM.local (192.168.42.108) -> 45.66.108.1 (45.66.108.1) 2023-12-31T16:34:51+0100
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1.  AS??? 192.168.42.254                   44.6%  4969    2.9   4.6   1.9  17.7   1.8
 2. AS30781 hu0-0-2-1-4001.er01.par01.jaguar  0.1%  4969    8.2   6.3   3.5  31.9   2.5
 3. AS???  81.52.188.23                      0.0%  4969    7.6   6.2   3.4 175.3   7.4
 4. AS???  193.251.152.104                   6.3%  4969    4.7   5.5   2.9  26.0   2.0
 5. (waiting for reply)
 6. AS43619  45.66.111.1                       0.0%  4969    6.2   7.3   4.3  20.1   2.0
 7. (waiting for reply)
 8. AS43619 45.66.109.251                    21.4%  4969    8.9   7.8   5.2  85.8   2.2
 9. (no route to host)

Pour le second, d'après ce que j'en sais et ce que je vois sur l'interface Orange, c'est une IP du préfixe précisément visé par le DDoS (qui recevait donc les 245Gbps que tu cites, bien qu'ils ne soient pas tous passés par Orange 5511), je suppose donc qu'il a pu y avoir une saturation quelque part avant le host qui porte cette IP. A nouveau, aucun autre client n'a été impacté.

Bonne soirée, et bon nouvel-an pour tout ceux qui le fêtent :D

PS : merci pour tes edit pour refleter les éléments qu'on t'a fourni au cours de la journée :)

Hexicans

  • AS212815 Officiel Dyjix
  • Expert
  • *
  • Messages: 68
  • Niort (79)
    • Dyjix
[TEST] Transit IP FranceIX
« Réponse #3 le: 31 décembre 2023 à 21:48:20 »
Hello PM !

Merci pour ton retour. Mon message illustre simplement un test et n'a pas vocation à dénigrer le service, plutôt à le faire évoluer. Comme partout, il y a des points faibles et des points fort.

Pour le spof, il reste quand même le spof du support orange. Il n'y a qu'un support (et à priori lent) auquel vous avez été confronté. Le service dépend donc de leur support et de leur réactivité. J'ai cru comprendre qu'il était prévu d'avoir un transitaire en plus rapidement, ça pourrait réellement donner une plus value au service.

Dans le cas que tu évoques dans ton premier message soyons clairs : oui, nous aurions dû faire mieux, et nous nous considérons fautifs. Les Max-Pref étaient trop bas, cela a été corrigé, en lien avec Orange à 23h30 CET le 29/12. Je ne comprends cependant pas ton point sur les Prefix-List IPv4 et IPv6 puisque mon collègue a indiqué dans le ticket (le 29/12 à 15h20 CET) que tous les préfixes avaient été mis à jour. Pour la mise à jour de ces PL, elles ne sont effectivement pas automatiques pour le moment (contrairement au peering), et c'est un sujet qui est bien évidemment déjà en roadmap. C'est effectivement dommage que cela n'ai pas été fait plus tôt, France-IX reste cependant une structure qui n'a pas des moyens illimités, et le service ciblait initialement surtout des toutes petites structures, qui n'ont besoin de mettre à jour leur PL qu'occasionnellement. Il y a à présent une marge supplémentaire pour permettre à nos clients d'annoncer bien plus de préfixes sans qu'aucun autre ne puisse être impacté par un max-pref des upstreams de l'AS39801.

Pour les préfixes list, la mise à jour de la liste IPv6 a été effectué à 15h20. Nous avons ensuite essayé d'annoncer un préfixe IPv4 mais cela ne passait pas, nous avons ensuite relancé par e-mail et après votre réponse, cela fonctionnait. Peut-être une coïncidence de fait :(

Ce que j'ai dû mal à comprendre, c'est que FranceIX (qui a quand même des moyens conséquents même s'ils ne sont pas illimités, mais l'équipe est principalement constituée d'ingénieurs réseau / passionnés réseau) n'a pas priorisé cette action d'acceptation automatique des préfixes, malgré qu'il devait à la base y avoir peu de refresh. Le script peut être effectué en une petite heure, soit autant de temps économisé à l'équipe support chaque jour pour effectuer d'autres actions.

Dans notre cas, on ajoute / supprime 1 à 2 préfixes par jour en IPv4, parfois plus, via nos downstreams. Sur un ancien fournisseur, on avait mis une cron qui lui envoyait chaque jour un e-mail pour lui rappeler d'update les préfixes list. Quelques jours après, le script était fait (oui, je suis une personne horrible comme ça ! :D )


Pour répondre aux questions que tu poses :

1) Par défaut, nous ne faisons rien tant qu’on n’a pas observé une saturation des 2 accès Orange. Le cas hypothétique que tu poses (500Gbps qui rentrent par un seul transit, et qui pourrait donc saturer la capacité de Transit de l'AS39801), le client aura probablement fait un RTBH pour se protéger. Le cas de figure pour couper le service d’un client est vraiment le cas extrême. Nous n'avons pour le moment pas prévu de drop le service d'un client qui se ferait DDoS, et nous ajouterons de la capacité au fil des besoins. Par ailleurs, un client qui serait fortement sujet au DDoS aurait tout de même tendance à prendre l'offre associée de mitigation DDoS pour éviter d'impacter son propre service final.


Je suis à la fois d'accord et pas d'accord. Hier, l'attaque était répartie sur toutes les IPs d'un range IP avec environ 600 Mbps par IP. Ce type d'attaque est souvent effectué par botnet (et donc de courte durée), ça n'a pas forcément d'intérêt de blackhole : la personne finira par s'en lasser parce qu'elle ne peut pas attaquer 24/7, donc autant laisser le bloc UP. Lorsque l'attaque est terminée, ça revient.
FranceIX garanti <0.1% de perte de paquet par an. Si une attaque dépasse le seuil de votre port, il va falloir réagir souvent, et avec 100G - 200G, cela arrive très souvent.
Pour l'anti-ddos, cela dépend du coût. D'ailleurs je suis intéressé par connaître le coût du service, il semble y avoir du arbor derrière mais cela peut être vachement intéressant pour nos clients.



2) La raison de l'erreur est surtout le type de client initialement envisagé (des gens avec un ou deux préfixes), où nous pensions pouvoir simplement voir venir. Ça n'est pas le cas et a été corrigé. Par ailleurs, cet AS ne sert pas qu'à cela.

Mais même en prenant en compte cela, ça laisse peu de place au blackhole ? Est-ce que vous réannoncez les /32 à orange pour le blackhole ou vous stoppez qu'à partir de votre infrastructure ?

3) Je pense en toute transparence que le service est perfectible, vos retours sont importants pour comprendre quels sont les éléments que vous voulez voir venir.

Oui c'est sûr, ce post n'a pas pour but de dénigrer mais simplement faire connaître un peu plus le service et avoir les remontées de tout le monde pour l'améliorer. Il semblerait qu'il y ait encore peu de clients sur ce service.

Pour ton second message :

Non, il n'y a eu aucun paquet loss (en tout cas chez nous), y compris sur le port du client final (10G vs nos 2x100G au dessus). Cela sous-entends donc (si les 10G n'ont pas sauré) qu'il n'y a pas eu plus de 10G à rentrer par ce biais.


Lorsqu'on aura une nouvelle attaque capacitive, on va la refaire passer par vous pour en savoir un peu plus. C'est vrai que ça n'est pas clair non plus, l'attaque semble avoir changé durant la période, parce que même nous, on a reçu plus de +80G au départ (dont 30G via FranceIX Peering).


Bonne soirée et bon réveillon à tous !!

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 808
  • WOOHOO !
    • OrneTHD
[TEST] Transit IP FranceIX
« Réponse #4 le: 01 janvier 2024 à 13:52:25 »
Perso j'ai toujours pas compris pourquoi l'intérêt de prendre de l'OTI via FranceIX, à la fois sur l'aspect commercial et technique.

Surtout que, contrairement à ce que je pensais FIX qui livrerait en L2, basta finalement non, ils se mettent entre. Pour du transit ?

geek31

  • Fédération FDN
  • *
  • Messages: 110
  • Launaguet (31)
    • www.francois-fiore.fr
[TEST] Transit IP FranceIX
« Réponse #5 le: 01 janvier 2024 à 18:30:43 »
Bonjour et bonne année à tous et toutes (c'est mon premier message de 2024 :) )

Comme l'indique @squalala, l'offre de transit de FranceIX semble être dimensionnée techniquement comme commercialement pour de "petits" acteurs sur le marché.

J'avais retenu il y a plusieurs années que réussir à obtenir un transit/peering/PNI avec l'AS 3215 (Orange) ou l'AS 5511 (Orange OpenTransit) relevé de l'exploit en tant que petite structure et qu'en cas de réussite c'était un bon moyen de s'assurer une bande passante de relativement bonne qualité vers les 3 OCEN restants.

Je suis membre de l'association Tetaneutral.net qui œuvre principalement dans la région toulousaine, actuellement on dispose de 2 transits, chez FullSave (nouvellement EuroFiber) ainsi que Cogent, puis un peering justement chez FranceIX Toulouse (issu de la fusion/reprise du TouIX) qui nous propage sur les POP de Toulouse, Paris, Lyon et Marseille.
Toute notre infrastructure technique est hébergée sur Toulouse et l'infrastructure de routage est principalement hébergée à TLS00 chez FullSave/EuroFiber.

Pour des raisons techniques et humaines nous n'avons pas les moyens/temps d'adhérents d'être présents sur d'autres datacenter qu'ils soient dans la région ou dans le reste de la France.
Par contre si demain l'offre de Transit FranceIX devient disponible sur les POP régionaux, ça peut nous intéresser pour celui de Toulouse :)
(Je m'avance surement un peu, il faudra qu'on étudie l’intérêt réel et le cout, on a des moyens limités et on doit faire très attention)

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 571
  • Lyon (69) / St-Bernard (01)
    • Twitter
[TEST] Transit IP FranceIX
« Réponse #6 le: 02 janvier 2024 à 01:00:44 »
J'avais retenu il y a plusieurs années que réussir à obtenir un transit/peering/PNI avec l'AS 3215 (Orange) ou l'AS 5511 (Orange OpenTransit) relevé de l'exploit en tant que petite structure et qu'en cas de réussite c'était un bon moyen de s'assurer une bande passante de relativement bonne qualité vers les 3 OCEN restants.

C'est une légende urbaine qui a la vie dure.

Ca a toujours été relativement simple d'avoir un peering ou un transit avec Orange 3215 ou 5511, ll suffit de sortir le chéquier.

Ce qui a changé entre 2010 et 2023 c'est que le coût du transit orange est progressivement passé d'hors de prix à un peu plus cher que la moyenne (3215) voir dans la moyenne (5511).

En l'occurence, l'offre n'a pas de sens pour les gros acteurs car tu peux avoir du 5511 en direct pour moins cher. La différence c'est l'engagement de commit qui est bien plus élevé a capacité de port égale.

Momiji

  • Abonné FAI autre
  • *
  • Messages: 6
  • Antibes 06
[TEST] Transit IP FranceIX
« Réponse #7 le: 02 janvier 2024 à 12:36:51 »
Par contre si demain l'offre de Transit FranceIX devient disponible sur les POP régionaux, ça peut nous intéresser pour celui de Toulouse :)
(Je m'avance surement un peu, il faudra qu'on étudie l’intérêt réel et le cout, on a des moyens limités et on doit faire très attention)

Il semblerait que cela soit déjà faisable pour Marseille, et peut-être Lyon. J'ai reçu une offre commerciale de leur part. Cependant, je n'ai pas encore pris de décision car j'étais également intéressé par de la coloc' chez eux. Le tarif était légèrement supérieur à celui de la concurrence, ce qui est compréhensible étant donné que le housing n'est pas leur coeur de métier.