Auteur Sujet: REX sur QoS avec un CCR2004 (c'est top) (Lu 948 fois)

fttmeh · « **le:** 08 septembre 2023 à 10:21:59 »

Bonjour,

La version ROS 7 a des nouveaux outils pour gérer le bufferbloat. J'ai testé l'utilisation de CAKE, FQ-CoDEL tant en upload comme download.

Bref, ça fonctionne très bien. Dans mes tests (Cf. ci-dessous), plus de bufferbloat en upload. Le plus est d'avoir une gestion du download ainsi que pour l'upload.

C'est configuré pour avoir FQ-CODEL en download et CAKE en upload, en interface queue, pour pouvoir garder fasttrack. J'utilise FQ-CODEL en download pour limiter la consommation de CPU.

La première image (Bufferbloat test - with fq_codel.png) a une queue CAKE en upload et une queue FQ-CODEL en download. Peu de latence supplémentaire (+4 ms dans mon test) en download. La deuxième image (Bufferbloat test - without fq_codel.png), sans FQ-CODEL en download, a une latence plus importante rajouté pendant la phase download (+25 ms).

Concernant la conso de CPU :

15% de CPU pour CAKE pour 600 MBits,
8% de CPU pour FQ-CODEL pour 1 Gbps

Ma conf :

Code: [Sélectionner]

/queue type
add cake-bandwidth=580.0Mbps cake-diffserv=diffserv4 cake-nat=yes cake-overhead=4 cake-overhead-scheme=ether-vlan cake-rtt-scheme=internet kind=cake name=cake-wan-up
add kind=fq-codel name=fq-codel

/queue interface
set ether1 queue=fq-codel
set if-wan queue=cake-wan-up

zoc · « **Réponse #1 le:** 08 septembre 2023 à 11:35:52 »

J'ai commencé à utiliser CAKE de mon coté, mais je ne peux à priori pas utiliser d'interface queues pour le download pour la simple raison que mon LAN est constitué de plusieurs VLANs. Du coup j'ai fait ça dans les queue tree et je marque les paquets dans les tables mangle IPv4 et IPv6. Ma configuration est clairement basique et j'ai déjà significativement réduit le bufferbloat.

Du coup j'ai perdu le fastpath, sauf pour mon routage intervlan.

Je posterai le resultat du test quand je serai chez moi. Par contre clairement avec le marquage de paquets et CAKE dans les 2 sens je monte bien plus haut en CPU, mais pas de quoi saturer pour le moment (je n'ai qu'un abonnement 1G/400M...).

Je n'ai pas essayé de mettre CAKE (ou FQ-CODEL) sur l'interface physique support des VLAN par contre. Est-ce que ca serait la solution pour que ça s'applique à tous les VLAN ?

fttmeh · « **Réponse #2 le:** 08 septembre 2023 à 12:34:12 »

J'utilise directement les interface queues (au lieu de queue trees ou simple queues) pour éviter de devoir marquer les paquets et ainsi garder fastpath. Ça aide à limiter la conso de CPU globale (++ avec CAKE, - avec Fastpath).

Pour le download, je colle les queues sur les ports vers mes devices. C'est le même effet et comme c'est au niveau de l'interface, ça aide aussi avec le routage inter VLAN.

Je n'ai pas activé FQ-CODEL sur tous les ports, seulement sur les ports où il y a des devices avec des cas d'usage plus sensibles au bufferbloat (console jeu de vidéo, WiFi). Pour les devices qui font du streaming ou téléchargements longs, je n'ai pas vraiment besoin.

zoc · « **Réponse #3 le:** 08 septembre 2023 à 13:40:32 »

Citation de: fttmeh le 08 septembre 2023 à 12:34:12

je colle les queues sur les ports vers mes devices.

Ouais mais du coup tu as une queue par port, pas certain que FQ-Codel fasse ce que tu veux dans ce cas là...

fttmeh · « **Réponse #4 le:** 08 septembre 2023 à 14:23:28 »

Au moment du téléchargement, il est compliqué de saturer mon lien (> de 1 Gbps) mais il est possible de saturer le lien entre le routeur et le device (Ethernet 1 Gbps, WiFi). FQ-CODEL aide en s'assurant que la queue de paquets en sortant du routeur ne grandisse pas trop, en laissant tomber des paquets qui trainent dans la queue pendant très longtemps. C'est le seul endroit où je peux agir à ce niveau.

Faire du SQM au niveau de chaque port m'assure donc peu de latence au moment du download. Si deux ports Ethernet (ou plus) font du downloads, je compte sur 1/CAKE en upload pour assurer qu'aucun flux ne soit pas trop dépriorisé [e.g. sortie de paquets ACK, VoIP], et 2/ FQ-CODEL pour le donwload pour assurer qu'aucun flux ne soit pas dépriorisé.

Pour ceux qui s'intéressent à ce sujet, j'ai trouvé une explication de FQ-CODEL et CAKE très intéressante ici par un de ses créateurs et qui m'a convaincu d'essayer : https://podcasts.apple.com/fr/podcast/modulate-demodulate-the-modemcast/id1548056557?i=1000582809889

https://forum.mikrotik.com/viewtopic.php?t=179307

cyayon · « **Réponse #5 le:** 22 septembre 2023 à 17:07:56 »

Salut,

C'est curieux vos retours sans FQ-CODEL et CAKE.
voici mes résultats sans aucun tuning au niveau des queues, j'ai au max +5ms avec 16 threads simultanés :

en idle :
2023-09-22 17:02:54 Testing idle line while pinging gstatic.com (60 seconds)
............................................................
Latency: (in msec, 60 pings, 0.00% packet loss)
Min: 22.300
10pct: 23.200
Median: 23.300
Avg: 23.297
90pct: 23.400
Max: 23.500

en charge bi-directionnel :
Download: 1879.23 Mbps
Upload: 789.89 Mbps

Latency: (in msec, 53 pings, 0.00% packet loss)
Min: 22.900
10pct: 22.900
Median: 24.200
Avg: 24.558
90pct: 26.200
Max: 27.400

en charge download :
2023-09-22 16:42:37 Testing against netperf-eu.bufferbloat.net (ipv4) with 16 simultaneous sessions while pinging gstatic.com (60 seconds in each direction)
.............................................................
Download: 1981.88 Mbps
Latency: (in msec, 61 pings, 0.00% packet loss)
Min: 22.400
10pct: 22.400
Median: 25.100
Avg: 24.974
90pct: 27.400
Max: 28.000

en charge upload :
..............................................................
Upload: 813.02 Mbps
Latency: (in msec, 56 pings, 0.00% packet loss)
Min: 22.100
10pct: 22.100
Median: 23.700
Avg: 23.562
90pct: 24.000
Max: 24.100

fttmeh · « **Réponse #6 le:** 25 septembre 2023 à 12:00:04 »

Citation de: cyayon le 22 septembre 2023 à 17:07:56

Salut,

C'est curieux vos retours sans FQ-CODEL et CAKE.
voici mes résultats sans aucun tuning au niveau des queues, j'ai au max +5ms avec 16 threads simultanés :

Tu peux poster plus de détails sur ta conf ?

cyayon · « **Réponse #7 le:** 25 septembre 2023 à 14:14:52 »

Salut,

voici ma config :

ISP Orange (Pro 2Gb/s) ip fixe (sortie Paris)
|
ONU FS.com dans un CRS310 2.5Gbs (gère uniquement la COS6 avec des switch rules)
|
CCR2116 10Gbps (DHCPclientv4/v6 orange + router / firewall ipv6/ipv4) WAN1
|
Linux 10Gbps (archlinux router / firewall nftables / DHCPserver ipv6/ipv4 + bcp de choses...) + WAN2 (LTE)
|
LAN 10Gbps

Le router/firewall Linux reprend l'ensemble des règles firewall du CCR2216. Il est capable de fonctionner sans le CCR. Je fais juste joujou depuis un moment avec le CCR et je suis indécis (je garde ou pas).
J'ai fait les test directement sur ce serveur Linux.