Auteur Sujet: remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs  (Lu 1857 fois)

0 Membres et 1 Invité sur ce sujet

benoitm974

  • Abonné Bbox fibre
  • *
  • Messages: 344
  • chatillon 92
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« le: 19 décembre 2024 à 13:26:30 »
Hello tout le monde,

Comme je n’ai pas de PC équipé en 10 Gbit/s et pas vraiment l’usage au quotidien, j’ai néanmoins été intrigué par les discussions autour des débits de l’offre fibre et des éventuelles limites de mon TP-Link BE800. Du coup, par pure curiosité, je me suis lancé avec un vieux PC (30€ sur le Bon Coin) couplé à une carte Intel compatible DPDK en dual 10 Gbit/s (17€ sur AliExpress) pour essayer VPP/DPDK. Pour les curieux, voici la doc : https://s3-docs.fd.io/vpp/24.10/usecases/home_gateway.html.

Après quelques batailles pour appréhender le framework, j’ai réussi à monter un petit routeur VPP basique branché directement sur l’ONU en 10 Gb, prêt pour les tests.

Les tests sont effectués avec iperf3 en IPv4 (option -4) sur le serveur de Free (ping.online.net). J’ai aussi testé d’autres serveurs pour confirmer, et les résultats sont similaires.

Observations :

Impact de l’upload sur le download (Bouygues) :
Si je pousse l’upload à fond (≈936 Mb/s), alors le download en mono-thread tombe à environ 768 Mb/s max. On dirait que la QoS chez Bouygues est “cassée” côté infrastructure, car ce problème apparaît aussi bien sur la BBox, sur le BE800 ou en direct sur l’ONU. Même constat avec différents SFP (celui de Bouygues sur BBox, le WAS110 sur BE800 ou l’AIWorks avec VPP/DPDK).

Limitation de l’upload :
Si je limite l’upload à 800 Mb/s (option -b d’iperf3), le download grimpe à 6,90 Gb/s !

[ ID] Interval         Transfer     Bitrate         Retr
[  5]   0.00-250.04 s   201 GBytes  6.90 Gbits/s    10096    sender
[  5]   0.00-250.00 s   201 GBytes  6.90 Gbits/s             receiver

Autre point étonnant : tant que je fais de l’upload en même temps que le download, je n’ai aucune coupure IPv4, même sur 250 secondes à 6,9 Gb/s.

Sans upload :
Sans upload, le download monte à 7,56 Gb/s (pas loin des 8 Gb/s annoncés), mais j’observe des coupures IPv4 aléatoires entre 60 et 180 secondes…

Test sur le TP-Link BE800 :
Branché directement sur le port 10G du BE800, j’ai vérifié ses limitations.

Environ 4 Gb/s par flux (par “core” ?), et difficile d’atteindre plus de 7 Gb/s en multi-threads.
Bref, pour un usage domestique standard (plusieurs flux à 2,5 Gb/s via Ethernet et Wi-Fi), il répartit plutôt bien les 7 Gb/s totaux.
En conclusion :

VPP/DPDK : C’est super performant, même si ce n’est pas très “user friendly”. Un routeur full duplex 10 Gb pour 47€ en tout, c’est quand même bluffant. Bon par contre en consommation électrique on est pas rentable :( doit y avoir un facteur 4 ou 5 avec un routeur type bbox, sans le wifi en plus!

TP-Link BE800 : Pas si mauvais dans son rôle. Pour une utilisation quotidienne, il s’en sort bien vu qu’il sait répartir jusqu’à 7 Gb/s sur plusieurs flux.

Bouygues : L’offre peut techniquement atteindre les 8 Gb/s annoncés avec le matériel adéquat (je ne sais pas encore si l’AIWorks limite elle-même le débit). Je vais tenter avec une autre carte SFP 10G pour les tests avec le WAS110. Mais on note clairement deux problèmes côté infra Bouygues :

Qu'on a semble-til bien un souci d'infra coté Bouygues avec cette offre debit+:
 - a la fois sur l'impact de l'upload sur le download
 - sur les coupures d'ipv4 dans certaines conditions, j'ai l'impression que si tu upload en iperf3 en meme temps que tu download (au dela de 2.5GBS) il n'y a plus de coupure... ipv4

Voilà, si vous avez des questions ou d’autres idées de tests, n’hésitez pas ! Aussi si ca intéressé certain de tester DPDK/VPP j'ai pris pas mal de note pour un eventuel post/tutorial.
« Modifié: 19 décembre 2024 à 19:20:05 par benoitm974 »

nycom

  • Abonné Bbox fibre
  • *
  • Messages: 33
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #1 le: 19 décembre 2024 à 14:20:18 »
J'ai constaté les mêmes problèmes.

J'obtiens un débit d'environ 7Gbps max dans les différents tests que j'ai pu faire, mais il faut pour ça limiter l'upload max.

J'ai aussi une coupure au bout d'un moment, n'ayant pu faire les tests que sur des serveurs iperf, je ne sais pas si la coupure est dû au fait que Bouygues coupe volontairement les tests de débit au bout de X secondes pour "protéger" son réseau ou si la coupure a aussi lieu sur un download HTTPS d'un serveur quelconque par exemple.

benoitm974

  • Abonné Bbox fibre
  • *
  • Messages: 344
  • chatillon 92
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #2 le: 19 décembre 2024 à 15:52:54 »
Est-ce que tu constate également que si tu upload en même temps ca ne coupe pas ?

C'est certain que iperf3 c'est un usage particulier et qu'il pourrait s'agir d'un protection mais étrange que ce ne soit qu'ne ipv4 du coup?

B

kgersen

  • Modérateur
  • Abonné Orange Fibre
  • *
  • Messages: 9 542
  • Paris (75)
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #3 le: 19 décembre 2024 à 18:43:40 »
Intéressant comme test !

oui le probleme de VPP c'est l'utilisation permanente a 100% d'un ou plusieurs coeurs du cpu de par la nature de son fonctionnement (traitement en direct par vecteurs en userland plutot que packets & interruptions classiques via le kernel).

Du coup pour un routeur perso/soho ou y'a pas de trafic en permanence ca peut ne pas être une bonne solution niveau conso...(et durée de vie du cpu?)

Sur l'offre Bytel, a ce jour, 7,5 Gbs mesuré c'est bien le max possible car de leur coté le réglage a 8Gbps est fait au niveau 2 (niveau XGS-PON) et pas au niveau IP (niveau 3) comme chez Orange par exemple.  Du coup aucun test ne dépassera 7,5 Gbps (a moins qu'ils changent un jour leur réglage).

benoitm974

  • Abonné Bbox fibre
  • *
  • Messages: 344
  • chatillon 92
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #4 le: 19 décembre 2024 à 19:15:57 »
Intéressant comme test !

oui le probleme de VPP c'est l'utilisation permanente a 100% d'un ou plusieurs coeurs du cpu de par la nature de son fonctionnement (traitement en direct par vecteurs en userland plutot que packets & interruptions classiques via le kernel).

Du coup pour un routeur perso/soho ou y'a pas de trafic en permanence ca peut ne pas être une bonne solution niveau conso...(et durée de vie du cpu?)

Sur l'offre Bytel, a ce jour, 7,5 Gbs mesuré c'est bien le max possible car de leur coté le réglage a 8Gbps est fait au niveau 2 (niveau XGS-PON) et pas au niveau IP (niveau 3) comme chez Orange par exemple.  Du coup aucun test ne dépassera 7,5 Gbps (a moins qu'ils changent un jour leur réglage).

Oui je ne pense pas que ce soit rentable mais pour du test c'est très amusant et puissant, j'ai vu également qu'ils ont maintenant des modes autres que polling et même en polling tu peux introduire un délai de quelques dizaines de micro secondes qui descend la conso CPU a 25/30% tout en restant très au délà en perf de la couche kernel. Donc c'est jouable, mais bon c'est quand même très spécifique et il faut apprendre tous les concept de flow, acl, etc... si tu veux gérer ton firewall, tes DNAT/SNAT etc ...


kgersen

  • Modérateur
  • Abonné Orange Fibre
  • *
  • Messages: 9 542
  • Paris (75)
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #5 le: 19 décembre 2024 à 20:38:29 »
y'a une startup qui expérimente pour faire un routeur 10g utilisant une puce NXP Layerscape® 1046A (cf ce suet: https://lafibre.info/routeur/routeur-10gbps-a-moins-de-500/48/ )

je n'ai pas d'info de prix sur cette puce ni s'il existe des routeurs existants avec mais ca peut etre une autre piste.

ils ont aussi testé avec vpp/dpdk:

benoitm974

  • Abonné Bbox fibre
  • *
  • Messages: 344
  • chatillon 92
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #6 le: 19 décembre 2024 à 20:56:55 »
C'est exactement cette vidéo qui m'a donnée envie de tester DPDK/VPP sur un PC de récup :). Le routeur sera autour de $500 pour les "crowd founder" probablement 600 ensuite. C'est relativement élevé comparé à un altalabs Route 10 à 240 euros TTC en France: https://www.alta.inc/route10 (pour ceux qui sont intéressé y'a une société dans les Yvelines qui distribue le Route10 à ce prix).

trekker92

  • Abonné Free adsl
  • *
  • Messages: 1 941
remplacer par pc recup + DPDK/VPP - test débits sur 10Gbs
« Réponse #7 le: 19 décembre 2024 à 21:18:54 »
y'a une startup qui expérimente pour faire un routeur 10g utilisant une puce NXP Layerscape® 1046A (cf ce suet: https://lafibre.info/routeur/routeur-10gbps-a-moins-de-500/48/ )

je n'ai pas d'info de prix sur cette puce ni s'il existe des routeurs existants avec mais ca peut etre une autre piste.


NXP est surtout connu dans l'univers industriel pour avoir été cible de la guerre économique entre l'asie et les usa : c'est l'un des rares concurrents de qualcomm, qui a failli se faire bouffer, et la chine a mis son véto.

c'est eux qui fournissent les proc du librem, par exemple.