Auteur Sujet: FTTH 10G Free: Mesure de débit automatisé avec iPerf3 en IPv4 vs IPv6  (Lu 53038 fois)

0 Membres et 1 Invité sur ce sujet

Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
Bonjour,

Je viens ici soumettre à vos expériences et expertises quelques questions relatives aux débits que j’observe sur ma ligne FTTH 10G Free.

Mon logement est en ZMD AMII Orange (zone 4RD Free donc ?), la Freebox Delta est en mode routeur.
Entre le PC de mesure et la box, il y a 2 switches :
- Un netgear XS508M - relié au PC comme à l’autre switch via RJ45 connecté en 10 Gb/s
- Un netgear MS510TX - relié à la box via DAC SFP+ connecté en 10 Gb/s
Le « PC » de mesure est en réalité un Mac mini (i7 3,2 GHz, 32 Go mémoire, 1 To SSD, macOS 10.15.2 - équipé d’un chip Aquantia AQC107).
Jumbo frames activés (mtu 16k) - mode full duplex avec contrôle de flux (ai essayé sans contrôle également, pas de différence a priori)

Protocole de test : Via script en Crontab, lancement toutes les 10 minutes d’un test iPerf3, sur le serveur paris.testdebit.info ($serveur), en IPv4 puis en IPv6, avec les commandes suivantes:
iperf3 -c $serveur -R -t 20 -O 5 -p $numPort -4 -P 16 -w 4m -f g
iperf3 -c $serveur -R -t 20 -O 5 -p $numPort -6 -P 16 -w 4m -f g


A compter du 15/01/2020 ~17h, suppression de la fenêtre de 4m :

Multithread :
iperf3 -c $serveur -R -t 20 -O 5 -p $numPort -4 -P 16 -f g
iperf3 -c $serveur -R -t 20 -O 5 -p $numPort -6 -P 16 -f g


Monothread :
iperf3 -c $serveur -R -t 20 -O 5 -p $numPort -4 -P 1 -f g
iperf3 -c $serveur -R -t 20 -O 5 -p $numPort -6 -P 1 -f g


(10s de pause entre chaque test, $numPort étant le 1er numéro de port disponible entre 5200 et 5209).








A compter du 29/01/2020 ~22h30, évolution du protocole :
- Mesure d'une durée totale de 8s, dont seules les 4 dernières sont conservées pour le calcul du débit

Multithread :
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -4 -P 16 -f g
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -6 -P 16 -f g


Monothread :
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -4 -P 1 -f g
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -6 -P 1 -f g


(5s de pause entre chaque test, $numPort étant le 1er numéro de port disponible entre 9200 et 9222).



Ci-joint le graphique correspondant :


Les 2 questions que je me pose :

- Suis-je face à un « plafond de verre » à 7 Gbits/s environ ?

Car je ne dépasse jamais les 7 Gbits/s, tout en stagnant non loin en-dessous une partie de chaque nuit.

A contrario, sur un wget vers le serveur Freebox, je monte à 1,09 Go/s (8,72 Gbits/s) ; ce n’est a priori pas la carte réseau ou le LAN…
Est-ce lié aux paramètres passés à iPerf ?
Faudrait-il augmenter la fenêtre (-w), sachant que le serveur refuse davantage d’après les retours de la commande ?

> Augmenter le parallélisme ne semble plus améliorer, donc je ne pousse pas.

> J’ai essayé de tuner certains paramètres de MacOS (pile TCP…), mais je ne suis pas spécialiste, et, si dans certains cas les performances se sont clairement écroulées, à l’inverse je n’ai pas réussi à obtenir mieux qu’actuellement (peut-être pas trouvé la combinaison optimale…).

Vous auriez des pistes ? d’autres idées ?

EDIT SUITE TESTS : le suivi a montré qu'avec certains algos de gestion de la congestion TCP, je parviens à dépasser les 7 Gb/s et à talonner les 8 Gb/s (solution logicielle, donc).

- Pourquoi les maxima en IPv6 sont inférieurs à l’IPv4 lors des pics IPv4 (à quelques exceptions près - qui semblent prouver que c’est néanmoins théoriquement faisable d'égaler l'IPv4) ?
Et pourquoi ces valeurs se « rejoignent » lorsque les débits sont moindres en IPv4 ?

EDIT SUITE TESTS : Selon l'algo de gestion de la congestions TCP (voire d'autres facteurs), les débits peuvent devenir similaires. Là encore, c'est donc au niveau logiciel qu'on peut agir.

Je sais, je sais. Ce sont des problèmes de riche… Je fais ça par curiosité et intérêt pour l’apprentissage du fonctionnement de tout cela, pas pour me plaindre du Gbit/s qui me manque

Merci d’avance de vos retours d’expérience !  :)

EDIT : mise à jour du graphe au 27/01/2020 9h









- 07/02/2020 : Mise à jour automatisée via génération scriptée avec gnuplot (7 jours glissants - màj horaire)
Graphiques sur fond blanc disponibles tout en bas de ce post.


- 14/02/2020 16h30 : passage sur une VM Ubuntu + algo BBR côté client
La machine est un NUC10 i7 10710U ; 32 GB mémoire ; SSD NVMe 1 To
La connectivité 10G est assurée par un Sonnet Solo 10G Thunderbolt 3 édition
La VM est montée sous ESXi (6.7u2), la configuration réseau de VMWare est laissée d'origine.
La MTU est passée à 9000 dans la conf. Ubuntu.
Utilisation de l'algorithme de gestion de la congestion: bbr - via ajout ci-dessous dans /etc/sysctl.conf :
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr

- 15/02 9h00: optimisation sysctl.conf :
net.core.optmem_max = 268435456
net.core.rmem_default = 212992
net.core.wmem_default = 212992
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
net.ipv4.tcp_fastopen = 1
net.ipv4.tcp_tso_win_divisor = 8

- 15/02 11h40 : ajout de l’option -C bbr (BBR côté serveur) aux commandes iperf3 :
Multithread :
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -4 -P 16 -f g -C <algo>
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -6 -P 16 -f g -C <algo>


Monothread :
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -4 -P 1 -f g -C <algo>
iperf3 -c $serveur -R -t 4 -O 4 -p $numPort -6 -P 1 -f g -C <algo>


où <algo> = bbr

- 15/02 15h20 : passage du nom de serveur "paris.testdebit.info" à "bouygues.testdebit.info"
Le premier posait des problèmes de connexion en IPv6 depuis 12h10 (pas de souci en IPv4).
Passer sur le nom bouygues.testdebit.info a résolu ce souci, bien que ce soit, au bout, le même serveur (là où une désactivation / réactivation de la connexion réseau, et même un reboot de la VM n'avait rien résolu).
Note 17/02 : la "résolution" ne fut que temporaire : de nouveaux épisodes ont eu lieu le 16/02, entre 13h et 17h puis entre 18h40 et 19h20, ce dernier étant rentré dans l'ordre sans intervention (vu après coup).

- 21/02 23h50 : Passage de iPerf 3.6 à iPerf 3.7
- 22/02 0h00 : Passage de la RAM de 4 à 8 Go



« Modifié: 22 février 2020 à 00:00:46 par Breizh29 »

Florian

  • Abonné Bbox fibre
  • *
  • Messages: 1 995
  • Offre 2Gb/s BT - Argenteuil (95)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #1 le: 05 janvier 2020 à 18:20:21 »
C'est un plafond sympa :D  Tu dois le savoir mais la limite de la techno 10g-epon semble être à 8Gbps environ, donc de toute façon si tu visais les 10, ce 'nest pas possible. Alors arriver à 7, c'est déja top, sachant que le réseau doit être relativement vide pour les atteindre. Ici j'ai déja tapé 7.9Gbps, vers 6h du mat. En journée je suis entre 3 et 6.

Pour la différence de débit entre ipv4 et v6, je ne la constate pas de mon coté. A ces débits, iperf doit jouer aussi, les serveurs en face également (l'ipv6 moins offloadée ?), bref... Mais la différence n'est pas énorme. Tu as essayé avec curl, si tu pouvais  reproduire le phénomène ?

Pour les jumbos à 16k, tu seras à 1500 sur le net de toute façon. Et la plupart des nas&co que tu peux avoir en interne doivent limiter à 9k ... Je ne suis pas sur de la pertinence du 16k du coup.

vivien

  • Administrateur
  • *
  • Messages: 41 530
    • Twitter LaFibre.info
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #2 le: 05 janvier 2020 à 18:35:26 »
Pourrais tu faire un traceroute (plutôt un mtr-zrwc100) vers paris.testdebit.info en IPv4  et ne IPv6 ?

Envoi moi tes IPv4 / IPv6 pour que je réaliser un reverse traceroute.

Le trajet IPv4 va passer par le peering privé entre Free et Bouygues Telecom.
Pour l'IPv6, des anomalies de routage sont possible.

Sinon tu n'es pas seul sur le serveur, voici le trafic (chaque point représente le trafic moyen sur 5 minutes)


Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #3 le: 05 janvier 2020 à 18:39:41 »
@Florian

Merci pour ton retour.

Oui, c'est clair que c'est un plafond sympa !

Non, je ne visais bien sûr pas plus que 8 Gbits/s environ. C'est juste que je me demande pourquoi je reste comme bloqué à cette valeur. Je vais laisser le script tourner pour confirmer sur plus de temps.

Pour les jumbo, oui, je sais bien. Certaines personnes pensent qu'il vaut parfois mieux activer (au moins 9k, 16k effectivement c'est très peu supporté) de sorte que la fragmentation soit effectuée par des équipements plus adaptés que sa propre petite carte réseau. Mais je ne suis pas spécialiste réseau.

IPv4 versus IPv6, j'ai lu d'autres posts ici et ailleurs qui font le même genre de remarques, sans l'expliquer réellement (hypothèses autour des équipements, en effet). Je vais poursuivre, et creuser curl.

A+

Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #4 le: 05 janvier 2020 à 18:40:49 »
@Vivien

Merci pour les suggestions. Je te fais ça asap.

vivien

  • Administrateur
  • *
  • Messages: 41 530
    • Twitter LaFibre.info
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #5 le: 05 janvier 2020 à 18:44:23 »
Tu pourrais aussi essayer sur un autre serveur moins chargée.

Attention avec la latence qui augmente, la montée en débit sera plus lente.

Tous les serveurs sont en 10 Gb/s connecté à un routeur ou switch Bouygues Telecom qui lui même à une capacité beaucoup plus importante (LAG de plusieurs liens de 100 Gb/s vers le cœur de réseau pour ceux qui sont en direct sur un BSR). Ce sont des Intel Xeon E3-1240 v5 @3.5 GHz utilisés sans virtualisation avec un Kernel Linux 5.0 (passage au Kernel 5.3 dans quelques jours)

Paris : https://paris.testdebit.info/


Lille : https://lille.testdebit.info/


Lyon : https://lyon.testdebit.info/


Bordeaux : https://bordeaux.testdebit.info/


Aix-Marseille : https://bordeaux.testdebit.info/



Le peering entre Free et Bouygues Telecom est par contre beaucoup plus limité, quelques liens 10 Gb/s ou dans le maximum des cas un lien 100 Gb/s.

kgersen

  • Modérateur
  • Abonné Free Pro
  • *
  • Messages: 8 261
  • Paris (75)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #6 le: 05 janvier 2020 à 18:56:54 »
t'as quoi dans la colonne "Retr" a la fin du iperf3 ?

Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #7 le: 05 janvier 2020 à 19:01:52 »
@Vivien
(+ IP en MP)

Un MTR en IPv6 vers paris.testdebit.info :

Start: 2020-01-05T18:53:48+0100
HOST: Mac-mini-BZH.local                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS12322  monIP          0.0%   100    0.3   0.4   0.2   1.0   0.1
  2. AS12322  2a01:e03:12:f836:7e2c::ffff   0.0%   100    2.7   2.4   1.6  12.2   1.2
  3. AS12322  2a01:e03:12:1700::ffff       77.0%   100    1.8   2.9   1.7  17.1   3.1
  4. AS12322  2a01:e03:11::1                0.0%   100    3.1   4.4   3.0  21.0   2.5
  5. AS12322  2a01:e03:f::1                 0.0%   100    4.4   4.7   3.9  12.4   1.2
  6. AS12322  2a01:e03:e::5                 0.0%   100    5.5   6.1   5.2  12.6   1.3
  7. AS12322  2a01:e03:e::2                18.0%   100    9.6   8.5   6.2  10.4   1.2
  8. AS12322  2a01:e03:1::22               40.0%   100   12.4  12.3  11.7  13.0   0.3
  9. AS12322  2a01:e00:3f::5                9.0%   100   12.6  12.4  11.8  18.0   0.7
 10. AS5410   2001:860:0:81::1              0.0%   100   11.9  12.1  11.6  12.8   0.3
 11. AS5410   2001:860:bbee:b4::2           0.0%   100   12.2  12.8  12.2  13.4   0.3
 12. AS5410   2001:860:bbe0:128::2          0.0%   100   13.3  13.2  12.7  13.7   0.3
 13. AS5410   2001:860:de01:1100::2         0.0%   100   12.4  12.5  12.0  13.2   0.3


Idem en IPv4 :

Start: 2020-01-05T18:58:09+0100
HOST: Mac-mini-BZH.local                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???    192.168.200.1                 0.0%   100    0.3   0.3   0.2   0.4   0.1
  2. AS???    194.149.164.52                3.0%   100   12.3  12.6  12.0  13.7   0.3
  3. AS???    194.149.171.198               0.0%   100   12.6  12.4  11.8  13.0   0.3
  4. AS5410   la110.rpt02-th2.net.bbox.fr   0.0%   100   12.4  12.1  11.5  12.9   0.3
  5. AS5410   62.34.2.53                    0.0%   100   14.9  14.0  12.6  15.4   0.6
  6. AS5410   212.194.171.68               10.0%   100   13.0  12.7  12.2  13.3   0.3
  7. AS5410   89.89.101.141                 0.0%   100   13.1  12.9  12.4  13.5   0.3
  8. AS5410   89.84.1.186                   0.0%   100   12.4  12.6  12.1  13.2   0.3

Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #8 le: 05 janvier 2020 à 19:05:28 »
J'ai refait un mtr IPv6 dans le doute, vu le nombre de perte d'une des étapes... mais pareil :

Start: 2020-01-05T19:02:10+0100
HOST: Mac-mini-BZH.local                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS12322  monIP          0.0%   100    0.4   0.3   0.2   0.5   0.1
  2. AS12322  2a01:e03:12:f836:7e2c::ffff   0.0%   100    2.6   2.6   1.6  12.2   1.8
  3. AS12322  2a01:e03:12:1700::ffff       75.0%   100    2.0   2.6   1.8   7.9   1.6
  4. AS12322  2a01:e03:11::1                0.0%   100    3.5   3.8   2.8  13.9   1.3
  5. AS12322  2a01:e03:f::1                 0.0%   100    4.2   5.5   3.7  50.9   5.6
  6. AS12322  2a01:e03:e::5                 0.0%   100    5.4   6.3   5.1  39.1   3.4
  7. AS12322  2a01:e03:e::2                15.0%   100    6.7   8.2   5.9  10.7   1.2
  8. AS12322  2a01:e03:1::22               47.0%   100   12.6  12.3  11.8  13.1   0.3
  9. AS12322  2a01:e00:3f::5               20.0%   100   12.6  12.4  11.9  12.9   0.3
 10. AS5410   2001:860:0:81::1              0.0%   100   12.2  12.1  11.5  12.6   0.3
 11. AS5410   2001:860:bbee:b4::2           0.0%   100   12.4  12.7  12.2  13.4   0.3
 12. AS5410   2001:860:bbe0:128::2          0.0%   100   13.1  13.2  12.7  13.8   0.3
 13. AS5410   2001:860:de01:1100::2         0.0%   100   12.4  12.6  12.0  13.2   0.3

Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #9 le: 05 janvier 2020 à 19:09:13 »
t'as quoi dans la colonne "Retr" a la fin du iperf3 ?

Sur un test à l'instant en IPv4 : 22054 / en IPv6 : 19870

(je ne conserve pas les détails des lancements via le script)


vivien

  • Administrateur
  • *
  • Messages: 41 530
    • Twitter LaFibre.info
Questions sur le débit 10 Gb et IPv4 vs IPv6
« Réponse #10 le: 05 janvier 2020 à 19:12:05 »
Reverse traceroute réalisé depuis paris.testdebit.info :

On passe bien par le PNI dans les deux cas et dans les deux sens.
Il ne devrait pas y avoir de différence significative entre IPv4 et IPv6 (au-delà de l'en-tête IP un peu plus longue en IPv6)

IPv6 :

$ mtr -zrwc 100 2a01:e0a:1fc:6xx0::1
Start: 2020-01-05T19:05:24+0100
HOST:                                                                Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS5410   2001:860:de01:1100::1                                   0.0%   100    0.8   0.7   0.6   1.0   0.1
  2. AS5410   2001:860:bbe0:128::1                                    0.0%   100    0.3   0.3   0.2   0.8   0.1
  3. AS5410   2001:860:bbee:d8::1                                     0.0%   100    1.0   0.9   0.8   1.4   0.1
  4. AS5410   freetelecom-clubint-peeering-t2.ipv6.club-internet.fr   3.0%   100    1.3   1.3   1.2   1.6   0.1
  5. AS12322  2a01:e00:3f::6                                         45.0%   100    1.3   1.3   1.2   2.3   0.1
  6. AS12322  2a01:e03:4::9                                          10.0%   100    6.9   7.0   6.8   8.3   0.2
  7. AS12322  2a01:e03:4::2                                           9.0%   100   10.2  10.1   9.9  10.4   0.1
  8. AS12322  2a01:e03:12::1                                          0.0%   100   12.4  12.6  11.9  30.4   2.1
  9. AS12322  2a01:e03:12:1700:fe00::7e2c                             0.0%   100   12.9  12.4  12.1  15.7   0.4
 10. AS12322  2a01:e0a:1fc:6xx0::1                                    0.0%   100   12.7  12.3  11.8  12.9   0.3


IPv4 :
$ mtr -zrwc 100 82.64.142.xx
Start: 2020-01-05T19:07:27+0100
HOST:                                                     Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS5410   89.84.1.185                                  0.0%   100    0.6   0.5   0.4   0.7   0.1
  2. AS5410   89.89.101.140                                0.0%   100    0.3   0.3   0.2   0.9   0.1
  3. AS5410   212.194.171.69                               0.0%   100    2.1   2.4   1.3   5.5   0.7
  4. AS5410   62.34.2.52                                  51.0%   100    0.8   1.0   0.8   1.2   0.1
  5. AS5410   free-bouygtel-peering-10g.club-internet.fr   0.0%   100    1.2   1.3   1.1   1.5   0.1
  6. AS???    194.149.171.197                             39.0%   100    1.5   1.6   1.4   2.4   0.2
  7. AS???    ? ?                                         100.0   100
  8. AS???    ? ?                                         100.0   100
  9. AS???    ? ?                                         100.0   100
 10. AS???    ? ?                                         100.0   100
 11. AS???    ? ?                                         100.0   100
 12. AS12322  82-64-142-xx.subs.proxad.net                 0.0%   100   12.7  12.3  11.9  12.9   0.3


Lol Club-internet est toujours vivant en 2020 !
J'imagine qu'on est sur les même IP depuis Club-Internet et si Club-Internet ne proposait pas d'IPv6 a ses clients, les peering étaient bien montés en IPv6, on en a encore la preuve avec le reverse DNS IPv6 qui n'a pas été mis à jour : freetelecom-clubint-peeering-t2.ipv6.club-internet.fr (comme l'indique le reverse DNS, le peering sur fait sur T2 soit Telehouse 2)
Bouygues, il faudrait ce séparer de ce nom de domaine qui renvois en plus chez SFR.

Breizh29

  • Abonné Free fibre
  • *
  • Messages: 408
  • Ergué-Gabéric (29)
FTTH 10G Free: Mesure de débit automatisé avec iPerf3 en IPv4 vs IPv6
« Réponse #11 le: 06 janvier 2020 à 18:22:29 »
@Florian:

2 tests avec curl successivement (MTU 9k) :

IPv4 :
curl -k -o /dev/null http://ipv4.bouygues.testdebit.info/10G.iso
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 9536M  100 9536M    0     0   324M      0  0:00:29  0:00:29 --:--:--  413M

IPv6 :
curl -k -o /dev/null http://ipv6.bouygues.testdebit.info/10G.iso
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 9536M  100 9536M    0     0   246M      0  0:00:38  0:00:38 --:--:--  284M


L'écart semble présent, là aussi (31% environ plus long en IPv6, ici)
« Modifié: 07 janvier 2020 à 18:50:31 par Breizh29 »